从自己别的博客搬过来的，很久之前的文章，正好放在专栏 Python 基础知识里~ 不知道对别人有没有用，希望不会辣眼睛哈哈~
最近学了点关于 python 的网络爬虫的知识，简单记录一下，这里主要用到了 requests 库和 BeautifulSoup 库
Requests is an elegant and simple HTTP library for Python, built for human beings.Beautiful Soup is a Python library for pulling data out of HTML and XML files. It works with your favorite parser to provide idiomatic ways of navigating, searching, and modifying the parse tree. It commonly saves programmers hours or days of work.
以上是两个库的介绍，链接是文档信息
1、示例页面
这里我利用东北大学的图书馆的登陆页面来实现我们的爬虫功能（ps: 没错，博主是东北大学的学生.. 所以我有账号密码），没有账号密码也没有关系，原理都是差不多的，之所以找这个页面，是因为这个页面没有验证码，能够简单一些，而且像学校的这种页面一般比较简单，方便操作
2、简单分析
首先我用的账户和密码登陆进了东北大学图书馆，我使用的是 chrome 浏览器，打开开发者模式，我们来看看我们提交了哪些信息。登陆进去后，按下 F12 打开开发者模式，在 Network 选项卡下面，我们找到这个文件，他的 request 方法是 post，应该就是我们要找的文件了，拉到最下面看到 Form Data，红色框出就是我们登陆时提交的信息了，一共五个部分，画红线的地方是账号和密码。搞清楚了 post 的信息后，我们就可以写代码来自动提交信息了。
登陆部分搞清楚了，接下就要分析要抓取的信息了，现在我要抓取我的
外借
借阅历史列表
预约请求
要抓取这三个数据，如上图所示，我当前外借 1 本书，借阅过 65 本书，预约请求为 0，现在的目的是将这些数据抓取出来，我们按下 F12 来查看网页的源代码，分析我们应该抓取哪一部分。如上图所示，一步步找到了数据所在的标签，我发现数据都在 id=history 这个标签下，所以可以先找到这个标签，然后再找 tr 标签，然后就能找到 td 标签里的数据了。
3、实现的功能
自动登陆
抓取页面上的一些信息，并在控制台输出
4、代码部分
4.1、post 数据的部分
首先贴上这部分的代码
def getHTMLText(url):
try:
kv = {‘user-agent’: ‘Mozilla/5.0’}
mydata = {‘func’:’login-session’, ‘login_source’:’bor-info’, ‘bor_id’: ‘***’, ‘bor_verification’: ‘***’,’bor_library’:’NEU50′}
re = requests.post(url, data=mydata, headers=kv)
re.raise_for_status()
re.encoding = re.apparent_encoding
return re.text
except:
print(“ 异常 ”)
return””
代码如上，我们来分析一下
kv 是为了模拟浏览器而定义的字典，因为有些网站如果识别出是爬虫的话，会拒绝访问，所以这里可以修改 headers 的信息来模拟浏览器登陆。
mydata 里面存的就是要 post 的信息，其中账号和密码我用 * 代替了。
requests.post() 就是向指定的 url 提交数据，关于 requests 在网上都能搜的到，就不赘述了。
re.raise_for_status() 这个的含义是如果访问失败的话，就会丢出异常。
re.encoding = re.apparent_encoding 修改编码，保证中文能被正确的解析。
这里采用 try except 的结构，为了程序的健壮性考虑，让程序在错误的时候不至于崩溃。
最后返回我们新的页面的 text。
4.2、抓取数据部分
首先贴上代码
def fillBookList(booklist, html):
soup = BeautifulSoup(html,”html.parser”)
for tr in soup.find(id=’history’).descendants:
if isinstance(tr, bs4.element.Tag):
temp = tr.find_all(‘td’)
if len(temp)>0:
booklist.append(temp[1].string.strip())
booklist.append(temp[3].string.strip())
booklist.append(temp[5].string.strip())
break
参数分别是我们要填充的列表和目标页面
创建一个 BeautifulSoup 的对象
在整个页面中查找 id=history 的标签，然后遍历其所有子孙标签
在遍历的过程中，标签的子标签可能是字符串类型，我们要过滤掉这些，所以用了 isinstance(tr, bs4.element.Tag)
isinstance 的用法：语法：isinstance(object, classinfo) 其中，object 是变量，classinfo 是类型 (tuple,dict,int,float,list,bool 等) 和 class 类若参数 object 是 classinfo 类的实例，或者 object 是 classinfo 类的子类的一个实例，返回 True。若 object 不是一个给定类型的的对象，则返回结果总是 False。若 classinfo 不是一种数据类型或者由数据类型构成的元组，将引发一个 TypeError 异常。
在标签中寻找所有 td 标签，观察源代码发现，第一个 td 标签列表就是我们要的，所以一旦找到我们要的信息以后，就停止查找，并就信息存在 booklist 里面
4.3、打印信息
贴上代码
def printUnivList(booklist):
print(“{:^10}\t{:^6}\t{:^10}”.format(“ 外借 ”,” 借阅历史列表 ”,” 预约请求 ”))
print(“{:^10}\t{:^6}\t{:^10}”.format(booklist[0],booklist[1],booklist[2])
这部分很简单就不说了
4.4、主函数
贴上代码
def main():
html = getHTMLText(“http://202.118.8.7:8991/F/-?func=bor-info”)
booklist = []
fillBookList(booklist, html)
printUnivList(booklist)
5、测试
成功的在控制台打印出了我们要的信息！
6、完整的代码
import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
try:
kv = {‘user-agent’: ‘Mozilla/5.0’}
mydata = {‘func’:’login-session’, ‘login_source’:’bor-info’, ‘bor_id’: ‘***’, ‘bor_verification’: ‘***’,’bor_library’:’NEU50′}
re = requests.post(url, data=mydata, headers=kv)
re.raise_for_status()
re.encoding = re.apparent_encoding
return re.text
except:
print(“ 异常 ”)
return””
def fillBookList(booklist, html):
soup = BeautifulSoup(html,”html.parser”)
for tr in soup.find(id=’history’).descendants:
if isinstance(tr, bs4.element.Tag):
temp = tr.find_all(‘td’)
if len(temp)>0:
booklist.append(temp[1].string.strip())
booklist.append(temp[3].string.strip())
booklist.append(temp[5].string.strip())
break
def printUnivList(booklist):
print(“{:^10}\t{:^6}\t{:^10}”.format(“ 外借 ”,” 借阅历史列表 ”,” 预约请求 ”))
print(“{:^10}\t{:^6}\t{:^10}”.format(booklist[0],booklist[1],booklist[2]))
def main():
html = getHTMLText(“http://202.118.8.7:8991/F/-?func=bor-info”)
booklist = []
fillBookList(booklist, html)
printUnivList(booklist)
main()