最近基金十分火爆，很多本来不投资、不理财人，也开始探讨、参加买基金了。依据投资对象的不同，基金分为股票型基金、债券基金、混合型基金、货币基金。

其中股票型基金说白了，就是咱们把钱交给基金公司让它们来帮咱们买股票，毕竟人家业余些嘛

所以明天咱们就来看看，这些基金公司都喜爱买那些公司的股票。接下来咱们本人入手，从天天基金网获取基金数据来剖析，文章开端能够取得全量代码地址

所用到的技术

  • 云数据库
  • IP代理池
  • 爬虫
  • 多线程

开始编写爬虫

  1. 首先，开始剖析天天基金网的一些数据。通过抓包剖析，可知: ./fundcode_search.js蕴含所有基金代码的数据。
  2. 依据基金代码，拜访地址: fundgz.1234567.com.cn/js/ + 基金代码 + .js能够获取基金实时净值和估值信息。
  3. 依据基金代码，拜访地址: fundf10.eastmoney.com/FundArchivesDatas.aspx?type=jjcc&code= + 基金代码 + &topline=10&year=2021&month=3能够获取第一季度该基金所持仓的股票。

  4. 因为这些地址具备反爬机制，屡次拜访将会失败的状况。所以须要搭建IP代理池，用于反爬。搭建很简略，只须要将proxy_pool这个我的项目跑起来就行了。

    # 通过这个办法就能获取代理def get_proxy():    return requests.get("http://127.0.0.1:5010/get/").json()

  5. 搭建完IP代理池后，咱们开始着手多线程爬取数据的工作。应用多线程，须要思考到数据的读写程序问题。这里应用python中的队列queue存储基金代码，不同线程别离从这个queue中获取基金代码，并拜访指定基金的数据。因为queue的读取和写入是阻塞的，所以可确保该过程不会呈现读取反复和读取失落基金代码的状况。

    # 获取所有基金代码fund_code_list = get_fund_code()fund_len = len(fund_code_list)# 创立一个队列fund_code_queue = queue.Queue(fund_len)# 写入基金代码数据到队列for i in range(fund_len):    # fund_code_list[i]也是list类型，其中该list中的第0个元素寄存基金代码    fund_code_queue.put(fund_code_list[i][0])

  6. 当初开始编写获取所有基金的代码。

    # 获取所有基金代码def get_fund_code():    ...    # 拜访网页接口    req = requests.get("http://fund.eastmoney.com/js/fundcode_search.js",                    timeout=5,                    headers=header)    # 解析出基金代码存入list中    ...    return fund_code_list

  7. 接下来是从队列中取出基金代码，同时获取基金详情和基金持仓的股票。

    # 当队列不为空时while not fund_code_queue.empty():    # 从队列读取一个基金代码    # 读取是阻塞操作    fund_code = fund_code_queue.get()    ...    try:        # 应用该基金代码进行基金详情和股票持仓申请        ...

  8. 获取基金详情

    # 应用代理拜访req = requests.get(    "http://fundgz.1234567.com.cn/js/" + str(fund_code) + ".js",    proxies={"http": "http://{}".format(proxy)},    timeout=3,    headers=header,)# 解析返回数据...

  9. 获取持仓股票信息

    # 获取股票投资明细req = requests.get(    "http://fundf10.eastmoney.com/FundArchivesDatas.aspx?type=jjcc&code="    + str(fund_code) + "&topline=10&year=2021&month=3",    proxies={"http": "http://{}".format(proxy)},    timeout=3,    headers=header,)# 解析返回数据...
  10. 筹备一个数据库，用于存储数据和对数据进行筛选剖析。这里举荐一个不便的云数据库，一键创立，一键查问，非常不便，而且是收费的哦。返回MemFireDB注册一个账号就能应用。注册邀请码：6mxJl6、6mYjGY；

  11. 创立好数据库后，点击连贯信息填入代码中，用于连贯数据库。

    # 初始化数据库连贯:engine = create_engine('postgresql+psycopg2://username:password@ip:5433/dbname')

  12. 将数据写入数据库中。

    with get_session() as s:    # create fund    ...    if (create):        s.add(fund)    s.commit()

  13. 到这里，大部分工作曾经实现了，咱们在main函数中开启线程，开始爬取。

    # 在肯定范畴内，线程数越多，速度越快for i in range(50):    t = threading.Thread(target=get_fund_data, name="LoopThread" + str(i))    t.start()
  14. 等到爬虫运行实现之后，咱们关上MemFireDB，点击对应数据库的SQL查问按钮，就能够查看咱们爬取的数据。哇！咱们获取到了6432条数据。
  15. 接下来让咱们来看看这些基金最喜爱买哪些股票吧。输出SQL语句select poscode, posname, count(*) as count, cast(sum(poscost) as int) from fund group by poscode, posname order by count desc limit 10;

它就是茅台！

代码地址。

茅台真牛X！