关于python:从开始学习爬虫到真正赚钱只用了一个月一个普通大专生的逆袭之路

40次阅读

共计 2999 个字符,预计需要花费 8 分钟才能阅读完成。

前言

我毕业六年了,但与技术和 Python 相干的工作教训也就两年。明天我想跟大家分享本人转行的故事,心愿可能激励那些跟我一样的敌人独特前行。

咱们将会聊到我集体的经验和入行故事,集体的技术成就,探讨疾速学习的办法,最初举荐一些学习资源。

个人简介和经验

在 2020 年以前,我并不是一个业余的研发,工作内容甚至与技术没有太多关联。

我所学的业余是“软件开发”,但大专念书的时候没有好好学习,导致毕业后到处碰壁。

毕业后的第一年辗转进入了一个互联网金融企业,在技术部外面负责最小的小弟。随着公司的倒退和人数减少,我从小弟变成了小哥,起初成为了连贯技术部和公司高层的纽带。

从这个时候起,我离技术越来越远,起初缓缓转到了经营岗,并通过致力从经营小弟变成了经营小哥。

互联网金融开张和跑路潮暴发,我感到行业奄奄一息,而且我感觉就我这点经营程度也蹦哒不起来(说一事无成也不为过)。恰好那段时间我理解到 Python 语言,理解到爬虫对于企业经营和倒退的重要性,还有 Python 易学的特点。

于是我上班后看 Python 的入门教程,并依据网上文章尝试运行本人编写的代码。念书的时候,学校教的是 C 语言、C# 和 PHP,但我都没有学会。唯独这一次,我感觉我可能学会 Python。

在家看网上的 Python 入门文章和入门视频,每天都挤出工夫来学习,跟着教程学习了大略 1 个月,我就尝试本人接一些小需要来做,例如爬取一些公开数据、编写 Python 程序等。那时候两三天能力实现工作,失去的报酬通常是 30~300,有时候甚至靠答复群友的问题领几块钱小红包。

实际是测验真谛的惟一方法,我不去实操就不会晓得本人的技术水平到了哪一个档次,就不会查漏补缺,接兼职就是我磨炼本人技术水平的办法之一。

起初随着工夫的推移,大略过了 7 个月,我感觉我能够算得上高级爬虫工程师了,接的都是 1000 以上的兼职。然而接兼职曾经无奈满足本人的技术增长须要了,于是我在智联还有前程无忧找了一些招爬虫或 Python 研发的公司,投了简历。三天内,接到了 5 个面试,而后也顺利的找到了一份爬虫组长的工作。

工作期间,咱们爬虫组的工作就是实现技术负责人调配的数据爬取工作,指标分为网站和 APP 两大类。咱们公司是体育行业,所以数据的变动是常有的事,这就要求爬虫组可能高频的爬取数据。

为了省事,我参考 Scrapyd 和 Celery,用 Django 编写了一套反对 Crontab 规定的调度平台,这样咱们编写的爬虫就能够集中在这个调度平台上进行治理。

在反爬虫方面,对于那些用 JavaScript 爱护数据的网站,咱们最开始采取的是 Selenium 或者 Splash 这种主动渲染工具来应答。但起初思考到高频、时效性和资源占用等问题,便硬着头皮去解指标网站中的 JS 算法,再用 Python 模仿实现同样的算法。

这样,将爬虫的爬取速度和资源占用都调整到了最优的状态。

我认为我进入了技术畛域,就应该踏踏实实的呆在这个畛域里,想方法扎根。

疾速学习的办法

对于转行的敌人,或者刚接触 IT 技术的敌人来说,最重要的是两件事:

  • 如何放弃专一,可能保持
  • 找到疾速学习的办法

第一件事其实并不难,放弃专一并可能保持的起因通常有二:有经济支出或者极大的兴趣爱好。纵观我的成长经验,其实这也是我保持下来的起因。学习之初,齐全是出于趣味和转行的压力。

在前三个月的阶段,有一些小小的支出也是撑持我持续前行的次要起因。第二件事,找到疾速学习的办法。我能够说,我的提高速度十分快,而且很巩固。

我深深的晓得 “浮沙之上难驻高台” 的情理,所以我在学习的过程中,通过写文章来坚固所学,并且我只专一于一个畛域(爬虫)。Python 能够倒退的方向十分多,例如 WEB、爬虫、数据分析和深度学习,我自知想要扎根就必须专一一个畛域。

我从最后的网络申请、网页解析到数据存储,爬虫部署调度,再到异步、多线程多过程、去重和增量,甚至是反爬虫的钻研,都属于爬虫这个畛域。

为了放弃专一,我扭转了我的作息时间,从原来的“早上八九点起床,凌晨一两点睡”改成了“早上六七点起,早晨十一点睡”。周末亦是如此,早睡早起使我有充分的精力放弃工作和学习。

选好某个畛域,并保持足够的工夫后,可能让人疾速提高的因素还有:读源码,造轮子。

读源码能够让咱们从更高的的角度了解程序的设计,并学到很多平时难以见到的骚操作。而造轮子,则是考验咱们将常识转换成代码的能力。

我读 / 钻研过源码的我的项目有:

  • Scrapyd
  • Scrapy
  • Celery
  • Gerapy
  • SpiderKeeper
  • SpiderWeb
  • WebSockets
  • WebsocketClient
  • Parsel
  • apscheduler
  • Job_Spider,Rust 语言编写的定时工作库

这里有个倡议,读源码、查资料的时候咱们必定会用到搜索引擎,搜索引擎列出的文章并不一定是精确的。有些文章甚至是缺头缺尾,所以最好是间接翻官网文档或者找一些出名作者写的文章来学习。

学习资源举荐

学习资源是学习品质和速度的保障,因而找到高质量的学习资源对咱们来说也是十分重要的。以下列出的学习资源不分排名,都是好资源:

一、Python 所有方向的学习路线

Python 所有方向路线就是把 Python 罕用的技术点做整顿,造成各个领域的知识点汇总,它的用途就在于,你能够依照下面的知识点去找对应的学习资源,保障本人学得较为全面。

二、学习软件

工欲善其事必先利其器。学习 Python 罕用的开发软件都在这里了,给大家节俭了很多工夫。

三、全套 PDF 电子书

书籍的益处就在于权威和体系健全,刚开始学习的时候你能够只看视频或者听某个人讲课,但等你学完之后,你感觉你把握了,这时候倡议还是得去看一下书籍,看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

咱们在看视频学习的时候,不能光动眼动脑不入手,比拟迷信的学习办法是在了解之后使用它们,这时候练手我的项目就很适宜了。


四、实战案例

光学实践是没用的,要学会跟着一起敲,要入手实操,能力将本人的所学使用到理论当中去,这时候能够搞点实战案例来学习。

五、面试材料

咱们学习 Python 必然是为了找到高薪的工作,上面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试材料,并且有阿里大佬给出了权威的解答,刷完这一套面试材料置信大家都能找到称心的工作。


敌人们如果须要这份完整版的 Python 全套学习材料,【点击这里】收费获取。

结语

我不论你是在互联网行业的哪一个岗位,你应该始终把本人当成一个学生。这比大多数职业的要求更高,因为这一行总在变动。没有一个开发人员能够晓得所有事件的全部内容,他们这一分钟这样做,下一分钟就有变动产生,他们就必须学习更多。如果你骄傲自满,进行浏览、学习,你必然会落后。即使你有一份不须要学习任何新货色的工作,一旦你失去了那份工作(这并非不可能产生),你会远远落后。所以即便有这样的工作,我也倡议你边工作边学习。

不论你喜爱那种语言、框架、库,你都要及时更新你的常识。如果你的职位须要的只是旧常识,这也是可了解的,因为很多领导偏向于认为如果公司还没败落,那就没必要修复。所以你依然会发现有些团队用着过期的、不受反对的技术,只因为该技术还能运行。如果你边工作边学习这方面的新货色,那你就能够向团队展现更快、更高效、更简略的新技术是可能的。你或者可能压服他们更新技术、改善公司。

无论是新开发人员,还是经验丰富的新手,我都心愿这些倡议可能帮忙到你们。

正文完
 0