大多数企业都离不开爬虫，爬虫是获取数据的一种有效方式。对搜索引擎来说，爬虫不可或缺；对舆情公司来说，爬虫是基础；对 NLP来说，爬虫可以获取语料；对初创公司来说，爬虫可以获取初始内容。但是爬虫技术纷繁…

原文链接： 何晓东 博客 没有绝对的发爬虫措施，只能提高爬虫爬取的成本。 爬虫措施： 不设防的网站，直接爬取，不做任何伪装 基础防备的网站，爬取过程中增加 time.sleep(n) 进行休眠一下，降级爬取频次，防止被…

想看看你最近一年都在干嘛？看看你平时上网是在摸鱼还是认真工作？想写年度汇报总结，但是苦于没有数据？现在，它来了。

说明 爬取小米有品： {代码…} 输出： {代码…} 贴上代码 {代码…} 输出文件列表 输出文件格式 注：网页是utf-8编码的，保存成gbk的话，有些编码不支持，只能舍弃，所以utf-8编码中的内容会比gbk的多大概2-3%左右

Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

最近发现知乎上感兴趣的问题越来越少，于是准备聚合下其他平台技术问答，比如 segmentfault、stackoverflow 等。

在 Cendertron 安全动态爬虫系列中我们依次介绍了安全爬虫的设计、爬虫的集群搭建，本篇则是讨论有关于滑动验证码的绕过策略。

本篇接上篇《mica-http 完全使用指南》，mica-http 自从 v1.1.3 加入到 mica 最近几周一直在打磨，逐渐成为了一个轻量级爬虫工具。

基于Golang的分布式爬虫管理平台，支持Python、NodeJS、Java、Go、PHP等多种编程语言以及多种爬虫框架。

我们在写爬虫，构建网络请求的时候，不可避免地要添加请求头( headers )，以 mdn 学习区为例，我们的请求头是这样的：