关于python爬虫:Python爬虫教程四

2次阅读

共计 1167 个字符,预计需要花费 3 分钟才能阅读完成。

一、线程、过程、协程的概念

    线程:是过程的一个执行单元,是过程内可调度实体。比过程更小的独立运行的根本单位。线程也被称为轻量级过程。
    过程:是并发执行的程序在执行过程中调配和治理资源的根本单位,是一个动静概念,竞争计算机系统资源的根本单位。
    协程:是一种比线程更加轻量级的存在。一个线程也能够领有多个协程。其执行过程更相似于子例程,或者说不带返回值的函数调用。

二、多线程

    1. 单线程:两个局部的工作,执行完后面再执行前面工作。

        
                     
    2. 多线程

    
                  
    通过输入后果,能够看到两个线程是同时进行工作的,但工作执行由 CPU 决定(能够创立多个线程)。
    3. 第二种多线程办法
        
                
    其输入后果与第一种形式相似,可通过后果看出两个线程在同时工作。
    4. 建设多个子线程。

        
                  

三、多过程

    其逻辑与多线程逻辑基本相同。
          
                   

四、线程池及过程池

    咱们可通过线程池和过程池进行多个线程或过程的并行运算。
    1. 线程池

                
    2. 过程池

                    

五、协程

    1. 协程:协程是比线程更小的一种执行单元,你能够认为是轻量级的线程,当程序遇见 IO 操作时,能够抉择切换到其余工作上,更适宜于用来实现彼此相熟的程序组件,如单干式多任务,迭代器,有限列表和管道。
    宏观上是一个工作一个工作进行切换,切换条件是 IO 操作;宏观上为多个工作一起执行(多任务异步操作)。
    2. 异步协程及同步操作。
        

    同步操作输入后果:运行工夫 9 秒,根本为等待时间。

    异步操作:
        

    异步操作输入后果:4 秒的工夫根本为最长等待时间,两个工夫比照可看出异步操作为同时启动多个工作。

    3. 应用异步协程实战下载柔美图库图片,抉择三张图片下载地址进行简略的下载,学习 aiohttp 模块的利用,与 requests 模块进行比照。

    
    输入后果:

            
    4. 实战爬取百度小说西游记全文。
  
    其页面源代码中没有小说内容,关上开发者工具,点击查看全副章节。


    找到题目内容及题目内容所在链接。上面寻找小说具体内容及内容所在链接,点击任意一章进入。


    上面进行小说内容爬取,小说内容较多,咱们应用异步协程的形式进行爬取,通过 book_id、c_id 进行传参,可通过批改 book_id 即可爬取百度小说中其余小说的内容。


         

正文完
 0