关于后端:量化投资系列之可编程量化环境构建

34次阅读

共计 3426 个字符,预计需要花费 9 分钟才能阅读完成。

量化投资系列之《可编程量化环境构建》

选取股票数据获取和存储

数据获取

对于集体量化数据的获取,咱们个别选用收费的,开源数据源有 Tushare、akShare,国内最大量化平台聚宽数据(JQData)。为了疾速获取,试用 JQData 数据源,然而试用申请条目数一下子就用完了,所以选取 akShare,这不是重点。

数据本地化

获取完数据后,为了回测数据来验证一些策略模型,须要将数据本地化,个别有 csv 文件格式,数据库两种模式。csv 文件格式尽管易于人读,然而对于大量数据,治理起来并不敌对。数据库有关系型数据库,列如:MySql。还有非关系数据库类型,NoSQL 类型。网络考察过,为了方便管理和查问速度,间接弃用 csv 文件格式和关系数据库类型,选用 NoSQL 非关系型的数据库。

NoSQL 非关系型的数据库中,网络考察后,得出的论断是,因为股票日行情数据基于工夫时序,所以选用业余时序数据库,有商业的 KDB,开源的 InfluxDB,Clikhouse。商业的不必想了,贵,最初选用战斗民族开源的 Clikhouse。

综上所述,股票数据获取选用 akShare,数据本地化应用 Clikhouse [1]。

Clikhouse 介绍: Clikhouse 文档网址[1]

window 版本装置 Clikhouse

clickhouse 并不反对 window 平台的间接装置,所以须要虚拟化装置,装置办法有两种,留神这两种装置要求 window 10 以上的零碎,如果不是,降级下零碎吧。

  1. 装置 Docker 容器来装置 clickhouse。能够看这篇文章 window 版本装置教程网址[2],自己测试过,装置完后,要启动 docker,再启动 clickhouse – server,不知咋的,CPU 占用率高,高达 30%,并且链接不上数据库,所以不举荐。
  2. 装置 window 子系统 Ubuntu 来装置 clickhouse。十分举荐这种装置形式,兼容性很好,一次性就装置通过,并且链接数据库胜利。装置参考教程

window 10 零碎下 Ubuntu 装置 clickhouse 教程

上面介绍下 window 零碎通过 ubuntu 装置 ckickhouse

window 性能开启

  1. 开启 windows 的开发者模式

关上“设置“—>”更新和平安“—>”开发者选项“抉择”开发人员模式”

  1. 装置实用于 Linux 的 windows 子系统

关上“控制面板”->“程序”->“启用或敞开 windows 性能”,勾选实用于 Linux 的 windows 子系统,勾选 Hyper-V 性能,开启虚拟化

下载环境软件

  1. 装置 Ubuntu,关上微软利用商店,搜寻 Ubuntu,点击获取并且主动装置。

稍等片刻,装置之后启动 Ubuntu,会有一个短暂的初始化过程,而后出入用户名和明码,如下图,就装置胜利了。

  1. 设置管理员权限
    应用 Linux 零碎常常须要用管理员权限操作。所以这里先设置好,免得前面麻烦。
    ubuntu 默认不容许应用 root 登录,因而初始 root 账户是不能应用的,须要在一般账户下利用 sudo 权限批改 root 明码。

Ubuntu 装置门路在:

C:\Users\Administrator\AppData\Local\Packages\CanonicalGroupLimited.Ubuntu_79rhkp1fndgsc\LocalState\rootfs\home

前期工作筹备好,就能够进入 Clickhouse 的装置了。

装置 Clickhouse

1、获取安装文件

下载三个安装程序包,官网地址[4]

clickhouse-common-static_20.9.2.20_amd64
clickhouse-server_20.9.2.20_all
clickhouse-client_20.9.2.20_all

2、执行安装文件

将下载好的三个文件复制到 Ubuntu 装置目录下,创立一个文件夹 clickhouse

cd 到三个安装文件的目录下,不然上面的装置命令找不到文件

顺次执行上面装置命令,期待装置结束

sudo dpkg -i clickhouse-common-static_20.9.2.20_amd64.deb
sudo dpkg -i clickhouse-server_20.9.2.20_all.deb
sudo dpkg -i clickhouse-client_20.9.2.20_all.deb

如图所示就曾经装置胜利了。要留神的是,装置 clickhouse-server 的时候,提醒了输出明码。我这外面输出的 sykent(很重要),如果不输出明码间接回车仿佛是能够的。

回退到下层文件夹,在 etc 文件夹下看到了装置的 clickhouse

3、启动 Clickhouse 服务

操作到这里能够说曾经胜利一半了,这里能够启动 Clickhouse 服务了。然而,在启动服务的时候会报错,解决思路就是批改配置文件内容。这里咱们先间接启动服务,看都会报什么谬误。(重点)

能够运行如下命令在后盾启动服务, 能够在 /var/log/clickhouse-server/ 目录中查看日志。
如果服务没有启动,请查看配置文件 /etc/clickhouse-server/config.xml。

sudo service clickhouse-server start

4、启动 / 进行 / 重启服务

执行命令

sudo service clickhouse-server start #启动
sudo service clickhouse-server stop #进行
sudo service clickhouse-server restart #重启服务,其实就是先 stop,而后再 start

5、连贯 Clickhouse 服务器

执行命令

clickhouse-client

留神:如果设置了明码,会有这样的提醒

设置明码执行残缺命令

clickhouse-client --port 9000 --host 127.0.0.1 --password sykent --multiline

胜利后

6、用数据库工具连贯 clickhouse

装置 Python 环境和 PyCharm,至于这两个软件怎么装置,就不介绍了,自行上网一搜,一大堆。

关上 PyCharm,新建一个工程,点击左边 Database , 点击 + 号,选中数据库 Clikhouse

新建数据库,填写信息,用户名默认 default,明码是装置时设置的明码,点击测试,能够看到链接胜利,点击 ok。

7、创立股票日行情表

链接数据库后,能够看到新建的数据库,而后执行创立表命令

CREATE TABLE stock.stock_daily_price
(
    `date`   Date,
    `code`   String,
    `open`   Float32,
    `high`   Float32,
    `low`    Float32,
    `close`  Float32,
    `volume` Float64,
    `amount` Float64
--     `adj_factor` Int32,
--     `st_status` Int16,
--     `trade_status` Int16
) ENGINE = ReplacingMergeTree()
      ORDER BY (javaHash(code), date)

点击执行,能够看到数据库 stock 创立了股票日行情表 stock_daily_price。

下篇预报

到此,咱们具备了数据存储环境,下一步就能够获取日行情数据,存储到数据库。日行情数据获取并存储到数据库曾经实现,欲知后事如何,且看下篇介绍。

下篇预报,获取数据存储数据库如图所示:

下篇介绍获取沪深 A 股,20050101 – 20200820 的日行情数据并存储到 clickhouse 工夫序列数据库中,一共 10652812 行数据,1100 万行左右,有了日行情数据,量化体系又进了一步。

援用链接

[1] Clikhouse 文档:https://clickhouse.com/docs/zh/

[2] Clikhouse win 装置教程(docker 版):https://www.cnblogs.com/huang…

[3] Clikhouse win 装置教程(Ubuntu 版): https://blog.csdn.net/qq_3429…

[4] Clickhouse 安装文件网址: https://repo.yandex.ru/clickh…

[5] Clickhouse win 环境参考网址:https://blog.csdn.net/qq_3429…

写于 2022 年 08 月 21 日。

本文由 mdnice 多平台公布

正文完
 0