SQLflow:基于python开发的分布式机器学习平台, 支持通过写sql的方式,运行spark, 机器学习算法, 爬虫

12次阅读

共计 798 个字符,预计需要花费 2 分钟才能阅读完成。

项目 git:https://github.com/lqkweb/sql…

SQLflow (python3+)
Sqlflow based on python development, support to Spark, Flink, etc as the underlying distributed computing engine, through a set of unified configuration file to complete the batch, flow calculation, the Rest service development.
2019-01-22 更新界面, 近期会规范一下代码, 写一些注释并加入读写功能
主页:
结果页面:
项目目标
基于 python 开发的分布式机器学习平台, 支持通过写 sql 的方式, 运行 spark, 机器学习算法, 爬虫。
安装 python3 环境, 执行项目
git clone https://github.com/lqkweb/sql…
pip install -r requirements.txt
(sqlflow/sqlflow/execute/main.py 中的 data.csv 需要修改成你电脑中的绝对路径, 数据文件在 sqlflow/data/ 中)
python manage.py
打开 http://127.0.0.1:5000 就可以测试了。
项目测试
在 http://127.0.0.1:5000/demo 输入框输入: 测试 1:
select * from A limit 3;
测试 2:
select * from A limit 3 as B;
新开一个 http://127.0.0.1:5000/demo 网页, 直接就可以查询数据表 B 了:
select * from B limit 2;
as B 相当于创建了一个 B 临时表。是不是很简单。
正在新增 sql 版机器学习算法功能, 谢谢支持。
正在新增 sql 版爬虫功能, 谢谢支持。
记得给个 start 鼓励一下!Thanks♪(・ω・)ノ

正文完
 0