乐趣区

关于开源:开源大数据热力报告-2022-入围项目公示

在开源大数据技术飞速发展的十数年,咱们见证了多元化技术的衰亡和变迁。如何从海量数据中,通过数据处理和可视化的伎俩,对开源大数据技术的过来、当初和将来,做出粗浅洞察?如何为开发者在开源大数据技术畛域的学习、选型和技术研发提供无益参考?带着这样的思考,凋谢原子开源基金会、X-Lab 凋谢实验室、阿里巴巴开源委员会独特发动了「2022 开源大数据热力报告」我的项目。

我的项目简介

「2022 开源大数据热力报告」收集相干公开数据进行关联剖析,通过 Star、Issue、open PR 等外围指标绘制基于大数据技术栈的热力地图,钻研开源大数据进入新阶段后的技术趋势,以及开源社区的运作模式对技术走向的助推作用。我的项目钻研遵循如下 7 个阶段:公开数据初筛 -> 我的项目技术分类 -> 专家审议 -> 入围公示 & 征集修改 -> 热力值计算和关联剖析 -> 数据洞察和课题钻研 -> 报告审议。

数据起源

2015 年 1 月至 2022 年 9 月的 Github 和 Jira 公开数据,包含我的项目 id、Star、Issue、open PR,review comment,merge PR 等。

数据初筛

我的项目初筛 Github 上 Topic Tag 满足如下条件且开源的大数据我的项目:
Topic Tag:big-data、etl、data-ingestion、data-collection、data-pipeline、data-analysis、data-analytics、analytics、data visualization、business-intelligence、data science、data-engineering

技术分类

依据大数据古代技术栈框架,对初筛我的项目进行技术分类。技术分类包含:数据集成、流解决、数据存储、数据查问和剖析、数据开发、数据调度和编排、数据管理 / 平安 / 中间件、数据可视化。

阐明:

数据查问和剖析分类聚焦大数据分析类型我的项目,不包含 OLTP 数据库、OLTP 能力为主的 HTAP 数据库和 NoSQL 数据库数据可视化分类中需具备数据源链接和解决能力,不包含可视化框架工具我的项目数据管理 / 平安 / 中间件分类中,我的项目较少且性能相互交叠,因而归为一类本次报告聚焦大数据畛域,不蕴含大数据 AI 交融型我的项目

我的项目公示

现将本次入围我的项目(共计 92 个)予以颁布,公示期为 2022 年 10 月 10 日至 10 月 16 日。

技术分类 项目名称
数据集成 airbytehq/airbyte alibaba/DataX apache/camel apache/flume apache/incubator-seatunnel apache/inlong apache/sqoop dbt-labs/dbt-core debezium/debeziumver verica/flink-cdc-connectors
流解决 apache/beam apache/flink apache/incubator-heron apache/incubator-streamp ark apache/kafka apache/pulsar apache/samza apache/storm
数据查问和剖析 apache/arrow-datafusion apache/calcite apache/cassandra apache/doris apache/drill apache/druid apache/hawq apache/hbase apache/hive apache/impala apache/incubator-kyuubi apache/kylin apache/lucene apache/phoenix apache/pig apache/pinot apache/solr apache/spark apache/tez ClickHouse/ClickHouse duckdb/duckdb elastic/elasticsearch eventql/eventql greenplum-db/gpdb opensearch-project/OpenSearch prestodb/presto StarRocks/starrocks trinodb/trino uber/aresdb
数据存储 apache/avro apache/bookkeeper apache/carbondata apache/hadoop-hdfs apache/hudi apache/iceberg apache/incubator-pegasus apache/kudu apache/ozone apache/parquet-format delta-io/delta hazelcast/hazelcast juicedata/juicefs
数据管理 / 平安 / 中间件 apache/ambariapache/arrowapache/atlasapache/bigtopapache/hadoopapache/knoxapache/rangercube-js/cube.jsdatahub-project/datahub
数据开发 apache/incubator-devlake apache/zeppelin jupyter/notebook pachyderm/pachyderm
数据可视化 apache/superset dataease/dataease edp963/davinci elastic/kibana getredash/redash grafana/grafana keplergl/kepler.gl metabase/metabase shzlw/poli
数据调度和编排 Alluxio/alluxio apache/airflow apache/dolphinscheduler apache/incubator-linkis apache/nifi apache/oozie apache/zookeeper dagster-io/dagster kestra-io/kestra PrefectHQ/prefect

其余我的项目补充征集

如果你也是开源我的项目的爱好者,如果你熟知的我的项目不在上述列表,然而满足以下规范,可在公示期内扫描下方二维码参加我的项目提报。

参加规范:

1、开源大数据我的项目,有明确的开源协定、欠缺的文档;半年内公布过新版本
2、Github 上带有如下 Topic Tag 之一:big-data、etl、data-ingestion、data-collection、data-pipeline、data-analysis、data-analytics、analytics、data visualization、business-intelligence、data science、data-engineering

参加形式:

公布预报

「开源大数据热力报告 2022」将于 2022 年 11 月云栖大会现场正式公布。

特地致谢

联结发起方:凋谢原子开源基金会、X-Lab 凋谢实验室、阿里巴巴开源策略单干:开源中国、InfoQ、阿里云开发者社区单干媒体:CSDN、Datafun

退出移动版