网络爬虫

很多同学私信问爬虫的相干教程，想了想，还是专门跟大家出些Python爬虫学习相干的教程，从零开始论述如何编写Python网络爬虫，以及网络爬虫中容易遇到的问题，比方具备反爬加密的网站，还有爬虫拿不到数据，以及登录验证等问题，会随同大量网站的爬虫实战来进行。 咱们编写网络爬虫最次要的目标是爬取想要的数据还有通过爬虫去主动实现咱们想在网站中做的一些事件。 这里我会从根底开始解说如何通过网络爬虫去实现你想要做的事。 先来看一段简略的代码。 import requests #导入requests包url = 'https://www.cnblogs.com/LexMoon/'strhtml = requests.get(url) #get形式获取网页数据print(strhtml.text) 首先是import requests来导入网络申请相干的包，而后定义一个字符串url也就是指标网页，之后咱们就要用导入的requests包来申请这个网页的内容。 这里用了requests.get(url)，这个get并不是拿取的那个get，而是一种对于网络申请的办法。 网络申请的办法有很多，最常见的有get，post，其它如put，delete你简直不会见到。 requests.get(url)就是向url这个网页发送get申请(request)，而后会返回一个后果，也就是这次申请的响应信息。 响应信息中分为响应头和响应内容。 响应头就是你这次拜访是不是胜利了，返回给你的是什么类型的数据，还有很多一些。 响应内容中就是你取得的网页源码了。 好了，这样你就算是入门Python爬虫了，然而还是有很多问题。 get和post申请有什么区别？为什么有些网页我爬取到了，外面却没有我想要的数据？为什么有些网站我爬下来的内容和我实在看到的网站内容不一样？get和post申请有什么区别？ get和post的区别次要在于参数的地位，比如说有一个须要登录用户的网站，当咱们点击登录之后，账号密码应该放在哪里。 get申请最直观的体现就是申请的参数就放在了URL中。 比如说你百度Python这个关键字，就能够发现它的URL如下： https://www.baidu.com/s?wd=Python&rsv_spt=1 这外面的dw=Python就是参数之一了，get申请的参数用?开始，用&分隔。 如果咱们须要输出明码的网站用了get申请，咱们的个人信息不是很容易裸露吗，所以就须要post申请了。 在post申请中，参数会放在申请体内。 比如说上面是我登录W3C网站时的申请，能够看到Request Method是post形式。 在申请的上面还有咱们发送的登录信息，外面就是加密过后的账号密码，发送给对方服务器来测验的。 为什么有些网页我爬取到了，外面却没有我想要的数据？ 咱们的爬虫有时候可能爬下来一个网站，在查看外面数据的时候会发现，爬下来的是指标网页，然而外面咱们想要的数据却没有。 这个问题大多数产生在指标数据是那些列表型的网页，比如说前几天班上一个同学问了我一个问题，他在爬携程的航班信息时，爬下来的网页除了取得不了航班的信息，其余中央都能够拿到。 网页地址:https://flights.ctrip.com/itinerary/oneway/cgq-bjs?date=2019-... 如下图： 这是一个很常见的问题，因为他requests.get的时候，是去get的下面我放的那个URL地址，然而这个网页尽管是这个地址，然而他外面的数据却不是这个地址。 听起来很像很难，然而从携程这个网站的设计人的角度来说，加载的这部分航班列表信息可能很宏大，如果你是间接放在这个网页外面，咱们用户关上这个网页可能须要很久，以至于认为网页挂了而后敞开，所以设计者在这个URL申请中只放了主体框架，让用户很快进入网页中，而次要的航班数据则是之后再加载，这样用户就不会因为期待很长时间而退出了。 说到底怎么做是为了用户体验，那么咱们应该怎么解决这个问题呢？ 如果你学过前端，你应该晓得Ajax异步申请，不晓得也没事，毕竟咱们这里不是在说前端技术。 咱们只须要晓得咱们最开始申请的https://flights.ctrip.com/itinerary/oneway/cgq-bjs?date=2019-...这个网页中有一段js脚本，在这个网页申请到之后会去执行，而这段脚本的目标就是去申请咱们要爬的航班信息。 这时候咱们能够关上浏览器的控制台，举荐应用谷歌或者火狐浏览器，按F进入坦克，不，按F12进入浏览器控制台，而后点击NetWork。 在这里咱们就能够看到这个网页中产生的所有网络申请和响应了。 在这外面咱们能够找到申请航班信息的其实是https://flights.ctrip.com/itinerary/api/12808/products这个URL。 为什么有些网站我爬下来的内容和我实在看到的网站内容不一样？ 最初一个问题就是为什么有些网站我爬下来的内容和我实在看到的网站内容不一样？ 这个的次要起因是，你的爬虫没有登录。 就像咱们平时浏览网页，有些信息须要登录能力拜访，爬虫也是如此。 这就波及到了一个很重要的概念，咱们的平时观看网页是基于Http申请的，而Http是一种无状态的申请。 什么是无状态？ 你能够了解为它不认人，也就是说你的申请到了对方服务器那里，对方服务器是不晓得你到底是谁。 既然如此，咱们登录之后为什么还能够长时间持续拜访这个网页呢？ 这是因为Http尽管是无状态的，然而对方服务器却给咱们安顿了身份证，也就是cookie。 在咱们第一次进入这个网页时，如果之前没有拜访过，服务器就会给咱们一个cookie，之后咱们在这个网页上的任何申请操作，都要把cookie放进去。这样服务器就能够依据cookie来辨识咱们是谁了。 比方知乎外面就能够找到相干的cookie。 对于这类网站，咱们间接从浏览器中拿到已有的cookie放进代码中应用，requests.get(url,cookies="aidnwinfawinf")，也能够让爬虫去模仿登录这个网站来拿到cookie。 更多的Python爬虫学习教程也会持续为大家更新！

你是否还担心店铺刷单太多而造成被封的危险？你是否还担心网站发帖太多而导致IP地址被封的可能性？你是否担心投票数不够而排不到好的名次？你是否担心网速不够而抢不到国外的物品？你是否担心上网过程中暴露个人的隐私信息？没关系代理IP帮你解决这个问题，让我们来看一下它的功能：代理服务器接收远程服务器提供的数据保存在自己的硬盘上，如果有许多用户同时使用这一个代理服务器，他们对因特网站点所有的要求都会经由这台代理服务器，当有人访问过某一站点后，所访问站点上的内容便会被保存在代理服务器的硬盘上，如果下一次再有人访问这个站点，这些内容便会直接从代理服务中获取，而不必再次连接远程服务器。因此，它可以节约带宽、提高访问速度。代理服务器允许使用大量的伪IP地址，节约网上资源，即用代理服务器可以减少对IP地址的需求，对于使用局域网方式接入Internet，如果为局域网（LAN）内的每一个用户都申请一个IP地址，其费用可想而知。但使用代理服务器后，只需代理服务器上有一个合法的IP地址，LAN内其他用户可以使用10...*这样的私有IP地址，这样可以节约大量的IP，降低网络的维护成本。代理服务器可以保护局域网的安全，起到防火墙的作用：对于使用代理服务器的局域网来说，在外部看来只有代理服务器是可见的，其他局域网的用户对外是不可见的，代理服务器为局域网的安全起到了屏障的作用。另外，通过代理服务器，用户可以设置IP地址过滤，限制内部网对外部的访问权限。同样，代理服务器也可以用来限制封锁IP地址，禁止用户对某些网页的访问。通常代理服务器都设置一个较大的硬盘缓冲区(可能高达几个GB或更大)，当有外界的信息通过时，同时也将其保存到缓冲区中，当其他用户再访问相同的信息时，则直接由缓冲区中取出信息，传给用户，以提高访问速度。设置用户验证和记账功能，可按用户进行记账，没有登记的用户无权通过代理服务器访问Internet网。并对用户的访问时间、访问地点、信息流量进行统计。对用户进行分级管理，设置不同用户的访问权限，对外界或内部的Internet地址进行过滤，设置不同的访问权限。同样，代理服务器也可以用来限制封锁IP地址，禁止用户对某些网页的访问。代理IP最大的好处可以通过IP管理网络资源，限制部分网络资源进入特定的区域用户！保护资源的地域性。虽然如今的代理ip行业在全国乃至世界范围内都发展迅速，用户可以随时随地使用理ip来满足自己的需求。但是代理ip市场鱼龙混杂，对于代理ip使用用户来说，高质量尤其难寻。高质量代理ip对网络安全有很大的好处，可以使我们的电脑免受病毒的侵扰，尤其是对于一个企业来说，里面有很多内部信息，这种代理ip就可以极大地增强安全性。同时为了防止黑客的攻击，这种代理ip也设置了一种更为全面的系统。亿牛云代理只一家基于Linux系统研发的平台，自营线路，电信机房宽带，私密家庭IP。代理使用稳定性强，速度快，效果好。经过长时间的经验累积，现在的亿牛云代理在技术支持，客户服务，代理稳定，价格优惠等都已经做得非常好，选择亿牛云就是选择了快速的完成各种任务，亿牛云值得你信赖www.16yun.cn

在这个网络高速发展的时代，各种网络技术层出不穷，网络爬虫就是其中的一种，而且越来越火,大到各种大型网站，,小到微博,汽车,身边所有能在网络上留下信息都都能做为爬虫的目标。但是随着爬虫越来越强,各种网站的反爬虫的技术也越来越先进.出现了各种各样的验证码,以前还只是数字类,后来图片类,最变态是12306的图片,人工都只有50%机率.当然反爬最牛的还是封锁IP.同一个IP如果爬取过快或过多,机器就判断你是爬虫,而不是正常访问行为。那么有没有办法可以越过各种反爬技术呢？答案是有的，目前最有效的就二种方法.1 放慢你的脚步,设延时.不要一个月干的事情,你一天干完.2 当然就是使用代理ip第一个就是时间和速度会拉长,来爬数据,对于个人或学校等挺适合.但对于公司来说,时间成本才是最贵的.那有没有在最快的速度最快的时间内,可以爬取到你想要的数据呢.答案就是第二种方式,使用代理ip.亿牛云代理专为爬虫而生的代理,使用最先进的隧道转发理技术,我们提供一个固定的ip服务器地址，客户只需要配置到程序了里，就可以使用，我们的后台自动秒换ip。传统API提取式代理，通过URL定时获取代理IP信息，需验证IP的可用性、更换代理设置，同时需要设计多线程异步IO，实现代理IP并发处理，不仅繁琐，而且影响效率。“亿牛云爬虫代理IP”通过固定云代理服务地址，建立专线网络链接，代理平台自动实现毫秒级代理IP切换，保证了网络稳定性和速度，避免爬虫客户在代理IP策略优化上投入精力。亿牛云代理:www.16yun.cn客户qq：2221256510

一直有一个需求，希望看到自己网站在百度的实时的排名用过一些工具，要么反应迟钝，要么结果不准确或不实时于是打算用jsoup写一个小爬虫来实时百度看网站排名直接上代码依赖只有jsoupjar包下载地址:https://mvnrepository.com/artifact/org.jsoup/jsoup或者引入maven依赖<dependency> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.11.3</version></dependency>代码package com.zzzmh.spider;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.Map;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.jsoup.select.Elements;public class test { /** 百度搜索基本url 后面可以接的参数有 pn rn ie 等 / public final static String baseUrl = “https://www.baidu.com/s?ie=utf-8"; /* 连接超时时间 / public static int timeout = 30 * 1000; /* 连接重试次数 / public static int times = 10; /* UA / public static String UserAgent[] = { “Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50”, “Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50”, “Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko”, “Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)”, “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.87 Safari/537.36 OPR/37.0.2178.32”, “Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko”, “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 UBrowser/5.6.12150.8 Safari/537.36”, “Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Safari/537.36 Edge/13.10586”, “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.87 Safari/537.36 OPR/37.0.2178.32” }; /* 获取随机UA / public static String getRandomUA() { return UserAgent[(int) (Math.random() * (UserAgent.length))]; } /* 在这里进行连接 如果失败会继续重试 / public static Document getDocument(String url) { Document doc = null; for (int i = 0; i < times; i++) { try { doc = Jsoup.connect(url).header(“User-Agent”, getRandomUA()).timeout(timeout).get(); if (doc != null) break; } catch (Exception e) { e.printStackTrace(); } } return doc; } /* * 爬取百度指定关键字和页码的数据，只存id(排名号)，title，url(百度会把url缩写) 亲测虽然 * 加了&rn=50可以明显增加效率，但结果和用户实际看到的有所出入，并不准确，故用默认rn，与用户实际看到保持一致 * * @param keyword 关键字 * @param page 页码 / public static List<Map<String, String>> spider(String keyword, int page) { List<Map<String, String>> result = new ArrayList<>(); try { Document document = getDocument(baseUrl + “&wd=” + keyword + “&pn=” + (page * 10)); Elements els = document.getElementsByClass(“result”); for (Element el : els) { Map<String, String> map = new HashMap<>(); try { map.put(“id”, el.attr(“id”)); map.put(“title”, el.getElementsByTag(“a”).get(0).text()); map.put(“url”, el.getElementsByClass(“f13”).get(0).getElementsByTag(“a”).text()); result.add(map); } catch (Exception e) { } } } catch (Exception e) { e.printStackTrace(); } return result; } /* * 分析在指定关键字在百度的排名 * * @param keyword 关键字 * @param url 要找的目标包含的url * @param maxPage 最多找几页，防止死循环 * @return 找得到返回map 超过最大页码还找不到返回null / public static Map<String, String> BaiduRanking(String keyword, String url, int maxPage) { System.out.println(“开始查找百度中关键字为 "” + keyword + “" 且url包含 "” + url + “" 的相关数据排名 最多查询 " + maxPage + “页”); for (int i = 0; i < maxPage; i++) { // 输出当前页码和个数，不需要输出可以去掉 System.out.println(“正在查询第” + i + “页中的第” + (i * 10 + 1) + " ~ " + ((i + 1) * 10) + “个”); List<Map<String, String>> list = spider(keyword, i); for (Map<String, String> map : list) { if (map.get(“url”).contains(url)) { return map; } } } return null; } public static void main(String[] args) { / * 例如 找关键字 极简壁纸 主要的网址特征 bz.zzzmh.cn 最多找20页 (相当于找1~200个中有无匹配) * 若有匹配返回 id title url * 若无匹配返回 Null */ System.out.println(BaiduRanking(“极简壁纸”, “zzzmh.cn”, 20)); }}效果1、网站标题: zzzmh’s blog 网站url: https://zzzmh.cn参数：关键字: “zzzmh” 目标包含url: “zzzmh.cn” 最多查询页数: “20"运行结果：开始查找百度中关键字为 “zzzmh” 且url包含 “zzzmh.cn” 的相关数据排名 最多查询 20页正在查询第0页中的第1 ~ 10个正在查询第1页中的第11 ~ 20个{id=13, title=zzzmh’s Blog - Design By zmh, url=https://zzzmh.cn/ 百度快照}2、网站标题: 极简壁纸… 网站url: https://bz.zzzmh.cn参数：关键字: “极简壁纸” 目标包含url: “zzzmh.cn” 最多查询页数: “20"运行结果：开始查找百度中关键字为 “极简壁纸” 且url包含 “zzzmh.cn” 的相关数据排名 最多查询 20页正在查询第0页中的第1 ~ 10个正在查询第1页中的第11 ~ 20个正在查询第2页中的第21 ~ 30个正在查询第3页中的第31 ~ 40个正在查询第4页中的第41 ~ 50个正在查询第5页中的第51 ~ 60个正在查询第6页中的第61 ~ 70个正在查询第7页中的第71 ~ 80个正在查询第8页中的第81 ~ 90个正在查询第9页中的第91 ~ 100个{id=93, title=极简壁纸_极致严选高清电脑桌面壁纸美图4k_最潮桌面壁纸网站, url=https://bz.zzzmh.cn/ 百度快照}3、网站标题: 极简插件… 网站url: https://chrome.zzzmh.cn参数：关键字: “极简插件” 目标包含url: “zzzmh.cn” 最多查询页数: “20"运行结果：开始查找百度中关键字为 “极简插件” 且url包含 “zzzmh.cn” 的相关数据排名 最多查询 20页正在查询第0页中的第1 ~ 10个正在查询第1页中的第11 ~ 20个正在查询第2页中的第21 ~ 30个正在查询第3页中的第31 ~ 40个正在查询第4页中的第41 ~ 50个正在查询第5页中的第51 ~ 60个正在查询第6页中的第61 ~ 70个正在查询第7页中的第71 ~ 80个正在查询第8页中的第81 ~ 90个正在查询第9页中的第91 ~ 100个正在查询第10页中的第101 ~ 110个正在查询第11页中的第111 ~ 120个正在查询第12页中的第121 ~ 130个正在查询第13页中的第131 ~ 140个正在查询第14页中的第141 ~ 150个正在查询第15页中的第151 ~ 160个正在查询第16页中的第161 ~ 170个正在查询第17页中的第171 ~ 180个正在查询第18页中的第181 ~ 190个正在查询第19页中的第191 ~ 200个null补充:有结果返回map包含id、title、url。没有结果返回 Null百度搜索的url可以指定rn页码，最多一页50个，使用后有效减少了连接次数。但亲测下来设置过rn以后的结果与实际用户在百度搜索的结果排序和个数都有出入。故选择用默认rn来检测，效果最准确。本篇博客也发表在了我的个人主页，欢迎查看，地址https://zzzmh.cn/single?id=58END ...