关于爬虫:爬虫职海录三镇爬虫

8次阅读

共计 4326 个字符,预计需要花费 11 分钟才能阅读完成。

HI,敌人们好

「爬虫职海录」第三期更新啦!

本栏目标内容方向会以爬虫相干的“岗位剖析”和“职场访谈”为主,不便大家理解一下当下的市场行情。

本栏目继续更新,暂定收集国内次要城市的爬虫岗位相干招聘信息,有求职和跳槽打算的小伙伴们,能够多多关注。本期为武汉篇!

新年伊始,传说中找工作、换工作的“金三银四”马上就要到了。

这次我也从招聘网站找来了 200+ 份以后武汉的爬虫岗位 JD,整顿了数据并做了肯定的剖析。

目前在武汉或者当前打算在武汉倒退的小伙伴可要搬好小板凳认真看啦!

只管武汉不在一线城市之列,但作为九省通衢的中部地区城市之首,我还是用北上广深杭来进行比拟。

且武汉在校大学生近 170W,居全国第一,每年都会产生大量的毕业生。而这么多的毕业生,尤其是计算机专业,对爬虫岗感兴趣或者是打算从事爬虫岗的同学,是该留在武汉,还是流向倒退更好的一线城市呢?

这时候拿武汉来与其余一线城市作比拟得出的数据,对同学们就具备肯定参考意义了。

(各大城市以后爬虫工程师岗位支出)

从上边能够看到,目前武汉的爬虫工程师们,平均收入为 11207 元,支出中位数是 10500 元。

同时我找来了武汉市统计局已颁布的官网数据:2022 年武汉市城镇单位在岗职工年平均工资 103308 元。(2023 年数据尚未颁布)

也就是月均 8609 元。假如按 5%的年增速来看,那么 2023 年武汉市城镇在岗职工的均匀月支出大抵就是 9039 元左右。

武汉的爬虫岗薪资尽管低于北上广深杭,但毕竟是 IT 行业,还是跑的赢当地社会平均收入的。工资较低的同时,生存老本也绝对较低,这就看大家怎么取舍了。

(各大城市以后爬虫工程师岗位需要)

但爬虫岗的岗位数量,的确是远远落后。目前 BOSS 直聘上显示在招爬虫岗的公司不过百十家,初中高级的岗位共计也就两百左右。所以若是想找到一份在薪资待遇、职业倒退、通勤工夫、工作强度各方面都合乎本人要求的爬虫工作,还是比拟不容易的!

下边咱们再看看当下的理论招聘薪资。

(武汉以后爬虫岗位招聘薪资)

招聘信息上挂出的薪酬,月薪大多在 5~10K,10~15K 这两个区间内,共计占据了全副爬虫岗的三分之二,这根本也代表了大部分爬虫工程师在高级岗和中级岗能拿到的薪资支出。

老样子,K 哥在收集招聘信息时,顺便为大家整顿了一些关键词,包含公司行业、公司规模、岗位 title、技能标签、学历要求、福利待遇等方面,兄弟们能够瞅瞅。

(武汉爬虫岗位招聘信息词云图)

能够看到,“python”、“20~99 人”、“本科”、“带薪年假”、“爬虫”、“大专”、“1~3 年”这些词在招聘 jd 里高频呈现,反映了大部分公司以后的招聘状况。(这里揭示一下大家,武汉的公司兴许加班没那么多,但双休和公积金缴纳状况,相当堪忧)

K 哥锐评—城市 & 岗位 wu han
岗位状况:★★(2)
武汉的爬虫岗数量只有北京的 1 /8,也远低于其余一线城市,岗位竞争压力绝对较大。但另一方面,工作教训在 3 年内就符合条件的岗位占比达到三分之一,武汉对高级或者刚毕业的爬虫工程师还算敌对。
薪酬程度:★★★(3)
武汉的爬虫岗工资是高于当地社会平均收入的,虽不迭一线城市,但生存老本也绝对较低,工作几年后可能拿到一份每月过万的薪水,生存是不至于过的太差的,还能稍有亏损。
城市魅力:★★★(3)
一方面武汉每年都会涌进大量的年轻人,还算是一座比拟年轻化的城市。另一方面武汉具备得天独厚的地理位置劣势,不论你籍贯何处,回家都不会太远。只管支出和岗位并不占优,但也只是绝对几座一线城市而言,况且并不是所有人能承受一线城市的压力和“内卷”。
综合得分:★★★★★★★★(8)
工资水平是抉择城市 & 岗位的重要规范,但不会是唯一标准。若你喜爱激情滚烫的风土人情,大江大湖的天文禀赋,那么武汉兴许会适宜你!

武汉丨爬虫岗位
(以下岗位为随机列举,信息起源——BOOS 直聘)

01 集度 -1000-9999 人 - 互联网 AI 汽车

地址|武汉洪山区国采核心 T3

Spider 工程师 15-25K·16

薪职位详情:1. 负责爬虫零碎的架构设计与研发,治理分布式爬虫服务器,开发任务调度引擎;2. 负责指定网页或 APP 的定向爬取以及内容的抽取和去重等剖析工作 3. 负责爬虫外围算法的策略优化和钻研,晋升爬虫抓取效率和品质任职要求:1. 相熟 Python/PHP/JavaScript 等脚本语言中至多一种;2. 相熟 html/css/xpath 等罕用的 web 常识和正则表达式 3. 有分布式爬虫零碎的开发、架构教训,至多相熟并应用过一种支流的爬虫架构,如 Scrapy、Gocolly、Webmagic 等优先;4. 相熟 Linux 零碎环境和 Mysql、Redis、MongoDB 等数据库。其余:上午 09:30 – 下午 06:30 双休、弹性工作

02 超过芯科技 -100~499 人 - 电子 / 半导体 / 集成电路
地址|武汉洪山区铭丰大厦 1510
python 爬虫开发工程师 11-18K·13 薪
职位详情:1. 负责相干网站、论坛、app 的爬虫设计和开发,以及策略继续优化;2. 剖析我的项目的可行性和数据采集计划,负责外围算法的策略优化钻研,充分利用资源,防止限度;3. 参加开发数据采集程序,对指标站点 /app 进行结构化和非结构化数据数据分析,并对数据抓取,对各种指标数据进行信息提取、荡涤、去重、整顿及优化;4. 不断完善数据采集框架,对框架进行优化和改良;5. 参加数据分析解决流程、数据分析汇总报告的设计与开发;6. 优化和治理入库的数据。任职要求:1. 专科及以上学历,计算机软件或相干业余,3 年及以上 python 开发教训;2. 把握爬取的各类实现形式和技术细节,包含不限于:相熟常见的反爬策略、把握网络协议剖析(http1.1/http2 等)、有 JavaScript 反爬 / 逆向(AST)、APP 反爬 / 逆向等;3. 把握 tls 指纹 ja3, 可能反抗 akamai,PerimeterX,cloudflare 风控优先;4. 把握网络爬虫开发原理,相熟互联网各种类型数据交互模式,相熟 TCP/IP、HTTP、HTTPS 等网络协议,相熟 web 前端;5. 相熟应用 python 支流爬虫框架,有分布式爬虫教训;6. 熟练掌握正则表达式、XPath 等信息抽取技术;7. 相熟 Redis、Mysql、MongoDB 等罕用的数据库;8. 具备较强的剖析和解决问题的能力;9. 具备良好的沟通能力和团队合作能力。其余:上午 09:30 – 下午 06:30 双休、不加班

03 乐薇 -100-499 人 - 互联网 电商
地址|武汉江夏区东港科技产业园 2 号楼 3 楼
Python 爬虫工程师 10-15K·13 薪
职位详情:1. 参加公司爬虫零碎的架构设计和开发;2. 监控和优化爬虫零碎,晋升性能和加强性能;3. 率领团队负责多平台信息抓取和大数据仓库保护;4. 解决理论工作中遇到的各种疑难杂症。任职要求:1. 统招本科及以上学历;2.3 年以上 Python 爬虫教训;3. 相熟多线程、反爬虫、验证码识并精通网页抓取原理及技术,纯熟应用正则表达式、csspath、xpath 等获取信息;4. 精通任一开源爬虫框架,如 Scrapy、Nutch、DotnetSpider 等;5. 相熟把握 Mysql,Mongodb,Redis 等罕用数据库;6. 有海量支流电商平台数据爬取教训者优先,能迅速响应电商平台变动做规定调整。其余:8 小时工作制,周末双休,无强制加班五险一金,个体游览

04 积善科技 -20~99 人 - 互联网
地址|武汉洪山区国内企业核心 python
爬虫开发工程师 8 -13K·13 薪
职位详情:1. 负责分布式爬虫和数据采集零碎开发;2. 剖析客户的爬虫场景,帮忙客户晋升爬虫成功率;3. 对爬虫相干技术进行摸索与利用:如 js 渲染抓取,反爬攻破等;4. 参加公司业务平台的数据的开掘和剖析,帮助进行客户画像和产品改良。任职要求:1. 计算机专业本科及以上学历,不低于两年的开发教训;2. 熟练掌握 Python,能应用 django/Flask 等罕用框架进行我的项目开发;3. 相熟 Web 界面构造分析方法,可能从结构化和非结构化的数据中获取指定信息;3. 相熟 TCP/IP、HTTP 等网络协议,相熟 Linux 平台上的开发,熟练掌握 Python;4. 相熟 JS 加密逆向、验证码辨认、代码混同还原、Hook 等常见爬虫技术;5. 有安卓逆向、反编译、TLS 指纹、浏览器指纹相干教训优先;6. 有博客、github、csdn、知乎等展现代码和技术的优先思考;7. 有验证码辨认、逆向解决教训优先;8. 自我驱动,责任心强,执行力强,长于学习,能挑战自我一直谋求卓越;其余:上午 09:00 – 下午 06:30 弹性工作工夫

05 七枢星科技 -20-99 人 - 计算机软件
地址|武汉武昌区万达尊 B 座 704
爬虫工程师 20-35K·13 薪
职位详情:1. 与爬虫零碎的架构设计、外围模块 (抓取调度,页面解析和结构化抽取,海量数据存储和读取等) 开发,改良和晋升爬虫效率;2. 攻破各种反爬策略,疾速解决各类技术疑难问题,建设反爬反抗组件库;3. 欠缺爬虫的技术指标体系,并基于指标迭代优化爬虫根底能力,指标体系中,全面性指标的建设,基于随机采样,预计零碎总体目标信息;4. 技术难题攻关,解决理论开发过程碰到的各类问题。任职要求:1. 计算机相关业余,本科以上学历;2. 熟练掌握 Python、Webdriver;3. 有反反爬虫、解决无感验证码的教训;4. 解决过 akamai、recaptcha 等国内外出名的机器人防护框架的教训。其余:8:30-18:00(弹性十分钟)五险一金、全勤奖

06 湖北航信 -500-999 人 - 信息安全
地址|武汉市东西湖区网安大厦 A 座 18 楼
爬虫实习生 2 -3K
职位详情:1. 相熟爬虫原理,精通 WebDriver、Selenium、requests2. 相熟 html、dom、xpath、正则表达式等常见的数据抽取技术 3. 相熟常见反爬措施 4. 相熟 Python 等数据处理模块例如 pandas,numpy 等 5. 纯熟应用 MySQL、MongDB 或其余数据库 6. 纯熟应用 python 进行我的项目开发,有良好的编码习惯 7. 良好的逻辑思维能力和沟通能力,长于剖析问题 / 解决问题

ps:
1,文中呈现的岗位 JD,包含薪酬,工作工夫、福利等状况,均为招聘单位公示,我只是做了收集,理论状况大家能够被动分割招聘方进行征询。
2,文中呈现的岗位根本为随机选取,只作为参考,并不代表 K 哥举荐,我并未收取任何单位以及集体的广告费,也不提供简历投递渠道。
3,文中呈现的招聘信息截至发文,仍为在招状态,前期 K 哥不对相干信息的有效性负责。
4,对于爬虫 & 职场方面的内容,大家还心愿看到哪些呢,欢送多多向我提倡议,也欢送小伙伴们在评论区踊跃“吐槽”本人目前的公司。

正文完
 0