关于数据挖掘:开源周刊第一期

Codon : 让 Python 领有 C/C++ 一样的速度

为了解决python运行速度，麻省理工学院的计算机科学家出手了，他们独特研发了一种名为 Codon 的 Python 编译器，能够将 Python 代码转化为本地机器代码，而不会对运行时的性能产生影响。

"在单线程上，比 Python 的典型速度进步了 10-100 倍或更多，"Codon repo写道，"Codon 的性能通常与 C/C++ 的性能相当（有时甚至更好）。"

github地址：
https://github.com/exaloop/codon

Rspack : 一个 Rust 写的打包构建工具，性能和用法上对齐 webpack

字节跳动刚刚开源 Rspack，一个 Rust 写的打包构建工具，性能和用法上对齐 webpack.

启动速度极快: 基于 Rust 实现，构建速度极快，带给你极致的开发体验。

闪电般的 HMR: 内置增量编译机制，HMR 速度极快，齐全胜任大型项目的开发

兼容 webpack 生态: 针对 webpack 的架构和生态进行兼容，无需从头搭建生态。

github地址：
https://github.com/web-infra-dev/rspack

VSlide : 一款基于网页的数据可视化工具应运而生

VSlide，一款基于网页的数据可视化工具应运而生，旨在让普通用户便捷地创作反对交互式数据可视化图表的演示文稿。零代码制作交互式图表，点击式操作，推拽式布局，不须要任何根底,应用文档具体。

github地址：
https://github.com/shalom-lab/vslide

OpenChatKit : 前OpenAI研究员独特打造,ChatGPT开源平替

ChatGPT的开源平替来了，源代码、模型权重和训练数据集全副公开,OpenChatKit一共蕴含200亿参数，在EleutherAI的GPT-NeoX-20B（GPT-3开源替代品）上进行了微调，还能够连贯其它API或数据源进行检索等等。

GitHub刚刚上线，就曾经取得了800+标星。

github地址：
https://github.com/togethercomputer/OpenChatKit

ChatWeb : 能够爬取任意网页并提取注释，生成概要

根本相似于现有的chatPDF，自动化客服AI等我的项目的原理。

1. 爬取网页
1. 提取注释
1. 对于每一段落，应用gpt3.5的embeddingAPI生成向量
1. 每一段落的向量和全文向量做计算，生成概要
1. 将向量和文本对应关系存入向量数据库
1. 对于用户输出，生成向量
1. 应用向量数据库进行最近邻搜寻，返回最类似的文本列表
1. 应用gpt3.5的chatAPI，设计prompt，使其基于最类似的文本列表进行答复

就是先把大量文本中提取相干内容，再进行答复，最终能够达到相似冲破token限度的成果

github地址：
https://github.com/SkywalkerDarren/chatWeb

DrissionPage : 一个基于 python 的网页自动化工具,既能管制浏览器,也能收发数据包

基于python的网页自动化工具。既能管制浏览器，也能收发数据包。可兼顾浏览器自动化的便利性和requests的高效率。功能强大，内置有数人性化设计和便捷性能。语法简洁而优雅，代码量少.

github地址：
https://github.com/g1879/DrissionPage

DataX ：阿里开源一款数据同步工具 DataX，稳固又高效，好用到爆！

DataX 是阿里云 DataWorks数据集成的开源版本，在阿里巴巴团体内被宽泛应用的离线数据同步工具/平台。DataX 实现了包含 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步性能

github地址：
https://github.com/alibaba/DataX

ModelScope ：一个“模型即服务”(MaaS)平台，旨在会集来自AI社区的最先进的机器学习模型，并简化在理论利用中应用AI模型的流程

ModelScope开源了数百个(以后700+)模型，涵盖自然语言解决、计算机视觉、语音、多模态、科学计算等，其中蕴含数百个SOTA模型。用户能够进入ModelScope网站(modelscope.cn)的模型核心零门槛在线体验，或者Notebook形式体验模型。

github地址：
https://github.com/modelscope/modelscope

PhySO ：能间接从数据中找到暗藏的法则，而且一步到位，间接给出对应公式

PhySO背地的技术被叫做“深度符号回归”，应用循环神经网络（RNN）+强化学习实现。首先将前一个符号和上下文信息输出给RNN，预测出后一个符号的概率分布，反复此步骤，能够生成出大量表达式。同时将物理条件作为先验常识纳入学习过程中，防止AI搞出没有理论含意的公式，能够大大减少搜寻空间。

再引入强化学习，让AI学会生成与原始数据拟合最好的公式。除了物理学者直呼Amazing之外，还有其余学科研究者赶来探讨，能不能把同款办法迁徙到他们的畛域。

github地址：
https://github.com/WassimTenachi/PhySO

lama:能够利用AI技术，无损擦除任意物体,可离线在线应用

LaMa是一个AI打消模型，在训练时（256x256）没有见过的更高分辨率（~2k）上，体现出惊人的泛化能力，并且即便在具备挑战性的场景下，例如周期构造的补全，也能达到优异的性能。

https://magicstudio.com/zh/magiceraser这个网站是一个利用了LAMA模型，无损擦除照片中的人物、物品的在线工具。用户只须要上传照片，标记要去除的局部，而后下载解决后的照片。这个网站收费应用，不须要注册或登录。这个网站也有一个iOS应用程序，叫做Magic Eraser Background Editor，能够提供更高分辨率的编辑和其余性能。这个网站的成果十分惊艳，能够很好地修复被擦除局部的背景。

github地址：
https://github.com/advimman/lama