乐趣区

关于后端:2021-年年度蕞佳开源软件

Svelte

https://svelte.dev/

Svelte 是一种全新的构建用户界面的办法。传统框架如 React 和 Vue 在浏览器中须要做大量的工作,而 Svelte 将这些工作放到构建应用程序的编译阶段来解决。

与应用虚构(virtual)DOM 差别比照不同。Svelte 编写的代码在应用程序的状态更改时就能像做外科手术一样更新 DOM。

Minikube

https://minikube.sigs.k8s.io/

Minikube 能够在本地单机上运行 Kubernetes 集群的工具。Minikube 可跨平台工作,不须要虚拟机,不须要在 MacOS 或 Windows 上装置 Linux。反对多种容器,如 Docker,CRI-O,Containerd 等。

Pixie

https://px.dev

Pixie 是查看 Kubernetes 的工具。可查看 Kubernetes 集群的状态,比方,服务器集群性能,网络情况,集群资源曾经相干应用程序等。还能够查看更具体的内容,比方,pod 状态,申请量,热点图等。Pixie 的资源占用仅有 5% 左右。

FastAPI

https://fastapi.tiangolo.com/

FastAPI 是一个 Python 网页框架。FastAPI 以其高效、易用博得了开发者的青眼,间接挑战了 Django 和 Flash 的传统位置。FastAPI 的长处是,类型查看、主动 swagger UI、反对异步、弱小的依赖注入。

Crystal

https://crystal-lang.org/

Crystal 曾经面试很多年了,Crystal 的特点是兼具 C 语言的高效和 Ruby 的动态类型。今年初曾经公布了 1.0 版本,目前最新版本为 1.2.1,曾经足够稳固。

Microsoft Terminal

https://github.com/Microsoft/…

Microsoft Terminal 是一个开源的 Windows 的终端,提供相似 Mac 和 Linux 命令行的体验。Microsoft Terminal 具备 GPU 减速渲染,较传统控制台具备更好的性能晋升。

OBS Studio

https://obsproject.com/

OBS Studio 是一款用于直播和屏幕录制的软件,为高效捕捉,合成,编码,记录和流传输视频内容而设计,反对所有流媒体平台。快捷键可让试图平滑切换,甚至还有画中画和实时字幕的新性能。

Shotcut

https://shotcut.org/

Shotcut 是一个弱小的视频编辑工具。Shotcut 具备中文版反对,可在 Windows,MacOS,Linux,BSD 等操作系统上运行,Shotcut 具备数百种音频、视频格式,以及编解码器,且无需导入,可间接编辑。

Weave GitOps

https://github.com/weaveworks…

Weave GitOps 是一个 GitOps 工具。其目标是简化 DevOps 的工作流程,通过申明配置使 Kubernetes 更加稳固和平安。Weave GitOps 基于 云原生基金会的 Flux。

Apache Solr

https://solr.apache.org/

Apache Solr 是基于 Lucene 的全文搜寻服务器,也是最风行的企业级搜索引擎。Solr 放弃了开源的许可证,不过当初依然是收费的。Solr 可集群部署、可在云端部署,甚至包含 LTR 算法,可主动调整加权后果。

MLflow

https://mlflow.org/

MLflow 是由 Apache Spark 技术团队开源的一个机器学习平台。MLflow 由 Databricks 创立,并由 Linux 基金会托管,是一个 MLOps 平台,可让用户跟踪、治理和保护各种机器学习模型、试验及其部署。MLflow 提供了记录和查问试验(代码、数据、配置、后果)的工具,将数据迷信代码打包成我的项目,并将这些我的项目接入工作流程。

Orange

https://orangedatamining.com/

Orange 是一款用于开源机器学习和数据可视化的工具。Orange 与 R Studio 和 Jupyter 等程序化或文本工具相比,Orange 更直观易操作。Orange 蕴含了残缺的一系列的组件以进行数据预处理,并提供了数据帐目,过渡,建模,模式评估和勘探的性能。

Flutter

https://flutter.dev/

Flutter 是谷歌推出的一个新用于构建跨平台的手机、网页、桌面,嵌入式设施利用的 SDK。Flutter 的组件,比方,滚动条、导航、图标和字体,整合了 IOS 和安卓平台的差别。

Apache Superset

https://github.com/apache/sup…

Apache Superset 是一个古代的、轻量级可视化 BI 剖析工具。Apache Superset 在可视化、易用性和交互性上十分有特色,用户能够轻松对数据进行可视化剖析。而且 Apache Superset 曾经达到企业级商业软件的程度。

Presto

https://prestodb.io/

Presto 是一个开源的分布式 SQL 引擎,用于集群中的在线剖析解决。Presto 能够查问各种各样的数据源,从文件到数据库,并将后果输入到 BI 和剖析环境。更重要的是,Presto 能够在 Hive、Cassandra、关系型数据库中进行查问,而且 Presto 还能够联合多个起源的数据查问。

脸书、Uber、推特和阿里巴巴创建了 Presto 基金会。其余成员当初包含 Alluxio、Ahana、Upsolver 和英特尔。

Apache Arrow

https://arrow.apache.org/

Apache Arrow 是一个列式内存剖析层,旨在为 CPU 和 GPU 上减速大数据的剖析。它蕴含了一套立体和分层数据的典型内存示意,Arrow 内存格局反对零拷贝读取,并且不用序列化的状况下拜访数据极快。目前 Apache Arrow 反对的语言包含 C、C++、C#、Go、Java、JavaScript、Julia、MATLAB、Python、R、Ruby 和 Rust。

InterpretML

https://interpret.ml/

InterpretML 是微软推出的可解释机器学习包。其中蕴含了几个最先进的机器学习可解释性技术。InterpretML 提供了两类解释性类型:明箱(glassbox)模型和黑箱(blackbox)模型。InterpretML 可让实践者通过在一个对立的 API 下,借助内置的可扩大可视化平台,应用多种办法来轻松地比拟可解释性算法。InterpretML 也蕴含了可解释 Boosting 机(EBM)的首个实现,这是一种弱小的可解释明箱模型,能够做到与许多黑箱模型等同精确。

Lime

https://github.com/marcotcr/lime

Lime(Local interpretable model-agnostic explanations 部分可解释模型 - 不可知解释的缩写),Lime 用于表格或图片的解释机器学习的分类器。Lime 可能解释两个或更多类的黑盒分类器。分类器实现了一个函数,该函数接管原始文本或 numpy 数组并输入每个类的概率。

Dask

https://dask.org/

Dask 是一个用于并行计算的开源库,可将 Python 包扩大到多台机器上。Dask 可将数据和计算散布在多个 GPU 上,即可在繁多零碎也可在多节点集群中运行。Dask 可与 Rapids cuDF、XGBoost 和 Rapids cuML 集成,用于 GPU 减速的数据分析和机器学习。Dask 还可与 NumPy、Pandas 和 Scikit-learn 集成进行并行化工作。

BlazingSQL

https://blazingsql.com/

BlazingSQL 是一个基于 Rapids 生态系统构建的 GPU 减速 SQL 引擎。BlazingSQL 基于 Apache 2.0 许可证开源。BlazingSQL 是 cuDF 的 SQL 接口,具备反对大规模数据迷信工作流(包含提取,转换,加载)和企业数据集的各种性能。

Rapids

https://rapids.ai/

Nvidia 的 Rapids 是由英伟达开源的一款开源机器学习 GPU 减速平台。Rapids 应用英伟达 CUDA 基元进行底层计算优化,通过 Python 将 GPU 的并行和高带宽内存以接口方式向外凋谢。Rapids 依赖于 Apache Arrow 柱状内存格局,包含 cuDF(相似 Pandas 的 DataFrame 库);cuML(机器学习库汇合,提供 Scikit-learn 中大多数算法的 GPU 版本);以及 cuGraph(相似 NetworkX 的减速图剖析库)。

PostHog

https://posthog.com/

PostHog 是一个为开发者构建的开源产品剖析平台。主动收集网站或应用程序上的每个事件,无需向第三方发送数据。PostHog 提供基于用户事件的剖析,捕捉网站的应用数据,统计各用户在网站中的具体操作。PostHog 会主动捕捉点击次数和综合浏览量,以剖析网站用户在做什么,而无需手动推送事件。

LakeFS

https://lakefs.io/

LakeFS 提供了一种 ” 像治理代码一样治理数据湖 ” 的形式,独特引入相似 Git 性能来治理数据的版本。LakeFS 能够帮忙用户创立独立、零拷贝(Zero-copy)的数据分支,且在运行、测试和建模剖析中,又不存在毁坏共享对象的危险。与 Git 相似,LakeFS 的数据中会带有提交记录、元数据字段和回滚等信息,此外还有 hooks,即在分支合并到主分支前,hooks 会检查数据,确保完整性和品质。Amazon S3 和 Azure Blob 已在应用 LakeFS。

Meltano

https://meltano.com/

Meltano 始于 2018 年 GitLab 的外部我的项目,服务于 GitLab 数据管理。2021 年从 GitLab 独立进去成为一个初创公司。

Meltano 是一款收费 DataOps 时代的 ETL 工具,旨在代替代替传统 ELT 的工具,ELT 是指数据提取、加载、转换操作的统称。

Meltano 特点是开源、自托管、CLI(命令行)、可调试和可扩大。

Meltano 创立管道即代码的概念,Meltano 我的项目可进行版本控制、代码审查、继续集成和部署 (CI/CD)以及容器化等。

Trino

https://trino.io/

Trino 用于大数据分析的疾速分布式 SQL 查问引擎

2019 年 PrestoDB 的开发者创立了一个名为 PrestoSQL 我的项目分支。因为所属基金会的转移,PrestoSQL 于 2020 年 12 月更名为 Trino。

Trino 是一款用于大数据分析且性能优越的分布式 SQL 剖析引擎。Trino 可同时对 EB 级数据湖和海量数据仓库进行高效查问。Trino 合乎 ANSI SQL 的查问规范,可与 R、Tableau、Power BI、Superset 等 BI 工具配合应用。可在 Hadoop、S3、Cassandra、MySQL 的数据仓库中联结查问。

StreamNative

https://streamnative.io/

StreamNative 是一款弹性部署且可扩大的音讯和事件流平台,大大简化了实时报告和剖析工具以及企业应用流的数据管道架设。StreamNative 将 Apache Pulsar 分布式流解决架构与 Kubernetes 和混合云反对等,以及企业级性能、大型数据、认证和受权、性能监控等工具相结合,既简化了应用程序的开发,又简化了流数据利用的部署和治理。

Hugging Face

https://huggingface.co/

Hugging Face 是一个公司,也是一个网站。

Hugging Face 提供了以十分有用的深度学习资源库,比方深度学习的模型,数据集,还有网站的应用空间的等,不过大多是要付费的。

另外 Hugging Face 的次要产品是聊天机器人,为此 Hugging Face 开发了本人的自然语言解决 (NLP) 模型,称为分层多任务学习 (HMTL) 并在 PyTorch-Transformers 下治理了一个预训练的 NPL 模型库。

EleutherAI

https://www.eleuther.ai/

EleutherAI 是一个开源的社区人工智能我的项目,旨在创立一个齐全去中心化的、具备自治文化的单例人工智能。EleutherAI 我的项目始于 2011 年,任何能连贯互联网且有 GitHub 帐户的人都能够参加。社区成员可通过提交开发性能以或提案来参加我的项目。EleutherAI 的开发者每周会更新我的项目进度,这些更新会在 YouTube 上进行现场直播。

2021 年 EleutherAI 公布了 The Pile,是一个 825GB 用于训练的多样化文本数据集;并在 6 月颁布了 GPT-J,一个 60 亿参数的模型,大抵相当于 OpenAI 的 GPT-3 的居里变量。随着 GPT-NeoX 的呈现,EleutherAI 打算将参数始终进步到 1750 亿,发动了抢夺最大 GPT- 3 模型的挑战赛。

补充,OpenAI 的 GPT-3 模型在文本生成方面实现了惊人的飞跃,甚至具备了人类级别的性能。但其 API 始终未能齐全凋谢,目前只有 OpenAI 和微软外部才有齐全拜访全副训练集。

Colab notebooks for generative art/Colab notebooks 用于生成艺术品

首先是 OpenAI 的 CLIP(比照语言 - 图像预训练)模型,一种用于生成文本和图像矢量嵌入的多模态模型。尽管 CLIP 是齐全开源的,但 OpenAI 的神经网络 DALL-E 却不开源。为了补救这一空白,Ryan Murdoch 和 Katherine Crowson 开发了 Colab notebooks,将 CLIP 与其余开源模型(如 BigGAN 和 VQGAN)联合起来,制作 Prompt-based 生成性艺术作品。这些 notebooks 基于 MIT 的开源许可证,过来几十年间在互联网上广泛传播,被从新混合、批改、转译,并被用来生成了惊人的艺术作品。

起源:toutiao.com/a7028029253035770371/

退出移动版