关于爬虫:爬虫技术是做什么的

爬虫技术是做什么的？

简略来讲，爬虫就是一个探测机器，它的基本操作就是模仿人的行为去各个网站溜达，从这个链接跳到那个链接，查查数据，或者把看到的信息传输回去。就像一只蜘蛛在互联网这张大网上不知疲倦的爬来爬去。

你每天应用的百度，其实就是利用了这种爬虫技术：每天放出有数爬虫到各个网站，把他们的信息抓回来，而后化好淡妆排着小队等你来检索。

抢票软件，就相当于撒进来无数个分身，每一个分身都帮忙你一直刷新 12306 网站的火车余票。一旦发现有票，就马上拍下来，而后对你喊：土豪快来付款。

这些都能够应用爬虫来实现，爬虫其实能够代替人类实现一些反复无聊的工作，例如：你想将小明的网站博客搬到本人网站，然而你又不想一篇一篇的复制，于是你用爬虫批量采集，实现这项工作可能须要人工 3 天左右的工夫，而应用爬虫只须要 1 - 2 分钟左右，大大节俭了人力。

当然大部分爬虫技术还是用来采集数据的，之后对数据进行荡涤，合乎我的项目要求。