实现爬虫技术的编程环境有很多种，Java、Python、C++等都能够用来爬虫。但很多人抉择Python来写爬虫，为什么呢？因为Python的确很适宜做爬虫，丰盛的第三方库非常弱小，简略几行代码便可实现你想要的性能。更重要的，Python也是数据挖掘和剖析的好能手。那么，Python爬虫个别用什么框架比拟好？

一般来讲，只有在遇到比拟大型的需要时，才会应用Python爬虫框架。这样的做的次要目标，是为了方便管理以及扩大。本文我将向大家举荐十个Python爬虫框架。

1、Scrapy：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的利用框架。 能够利用在包含数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很弱小的爬虫框架，能够满足简略的页面爬取，比方能够明确获知url pattern的状况。用这个框架能够轻松爬下来如亚马逊商品信息之类的数据。然而对于略微简单一点的页面，如weibo的页面信息，这个框架就满足不了需要了。它的个性有：HTML, XML源数据 抉择及提取 的内置反对；提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能解决爬取数据提供了内置反对。

2、Crawley：高速爬取对应网站的内容，反对关系和非关系数据库，数据能够导出为JSON、XML等。

3、Portia：是一个开源可视化爬虫工具，可让使用者在不须要任何编程常识的状况下爬取网站！简略地正文本人感兴趣的页面，Portia将创立一个蜘蛛来从相似的页面提取数据。简略来讲，它是基于scrapy内核；可视化爬取内容，不须要任何开发专业知识；动静匹配雷同模板的内容。

4、newspaper：能够用来提取新闻、文章和内容分析。应用多线程，反对10多种语言等。作者从requests库的简洁与弱小失去灵感，应用Python开发的可用于提取文章内容的程序。反对10多种语言并且所有的都是unicode编码。

5、Python-goose：Java写的文章提取工具。Python-goose框架可提取的信息包含：文章主体内容、文章次要图片、文章中嵌入的任何Youtube/Vimeo视频、元形容、元标签。

6、Beautiful Soup：名气大，整合了一些罕用爬虫需要。它是一个能够从HTML或XML文件中提取数据的Python库。它可能通过你喜爱的转换器实现习用的文档导航,查找,批改文档的形式.Beautiful Soup会帮你节俭数小时甚至数天的工作工夫。Beautiful Soup的毛病是不能加载JS。

7、mechanize：它的长处是能够加载JS。当然它也有毛病，比方文档重大缺失。不过通过官网的example以及人肉尝试的办法，还是勉强能用的。

8、selenium：这是一个调用浏览器的driver，通过这个库你能够间接调用浏览器实现某些操作，比方输出验证码。Selenium是自动化测试工具，它反对各种浏览器，包含 Chrome，Safari，Firefox等支流界面式浏览器，如果在这些浏览器外面装置一个 Selenium 的插件，能够不便地实现Web界面的测试. Selenium反对浏览器驱动。Selenium反对多种语言开发，比方 Java，C，Ruby等等，PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与Python的对接，Python进行前期的解决。

9、cola：是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。工作会主动调配到多台机器上，整个过程对用户是通明的。我的项目整体设计有点糟，模块间耦合度较高。

10、PySpider：一个国人编写的弱小的网络爬虫零碎并带有弱小的WebUI。采纳Python语言编写，分布式架构，反对多种数据库后端，弱小的WebUI反对脚本编辑器，工作监视器，我的项目管理器以及后果查看器。Python脚本管制，能够用任何你喜爱的html解析包。

以上就是我分享的Python爬虫个别用的十大支流框架。如果对您有帮忙的话吗，麻烦点个关注再走喔~谢谢浏览。