17Python快速开发分布式搜索引擎Scrapy精讲深度优先与广度优先原理

【百度云搜索，搜各种资料:http://www.bdyss.cn】

【搜网盘，搜各种资料:http://www.swpan.cn】

网站树形结构

深度优先

是从左到右深度进行爬取的，以深度为准则从左到右的执行（递归方式实现）Scrapy默认是深度优先的

广度优先

是以层级来执行的，（列队方式实现）

【转载自：http://www.lqkweb.com】