前嗅ForeSpider教程:同一个网站中从另一页面采集数据

33次阅读

共计 2273 个字符,预计需要花费 6 分钟才能阅读完成。

大家在采集过程中有可能需要同时采集同一个网站不同页面的信息,今天小编为大家介绍一下从同一个网站另一个页面采集数据的具体操作流程。
第一步:新建任务①点击左上角“加号”新建任务,如图 1:

②在弹窗里填写采集地址,任务名称,如图 2:

③点击下一步,选择进行数据抽取还是链接抽取,本次采集企业最新动态链接列表,所以点击抽取链接,选择链接列表,如图 3:

④完成之后,在模板抽取配置下生成两个模板,默认模板:01 和链接列表:02。模板 1 中的“链接列表”链接抽取已与模板 2 关联,如图 4。如果配置的时候发现关联有问题,可以自己进行更改。

第二步:使用定位过滤,得到列表链接①按住 Ctrl+ 鼠标左键,进行区域选择,按住 Shift+ 鼠标左键,扩大选择区域。②点击确认选区,如图 5:

③点击采集预览,确认链接抽取是否正确,如图 6:

第三步:在模板 2 添加示例地址,并添加链接抽取①将模板 1 过滤得到的任意一条链接,作为模板 2 的示例地址。如:http://blog.11467.com/b427516…,如图 7:

②新建链接抽取。直接点击模板 2,点击上面“新建链接抽取”按钮,得到链接抽取,如图 8。

③关联模板在软件中模板的关联关系,与网页中链接跳转的关系相同。根据网页跳转规律,模板 1 中的“链接列表”链接抽取已与模板 2 关联。如果配置的时候发现关联有问题,可以自己进行更改。
第四步:使用定位过滤,得到列表链接①按住 Ctrl+ 鼠标左键,进行区域选择,按住 Shift+ 鼠标左键,扩大选择区域。②点击确认选区,如图 9:

③右击模板预览,查看链接抽取结果,如图 10 所示:

④确认链接抽取是否正确,如图 11:

第五步:新建模板 3 添加示例地址,并添加链接抽取①新建模板 3,将模板 2 过滤得到的链接,作为模板 3 的示例地址。如:http://93358999.b2b.11467.com,如图 12:

②新建链接抽取。直接点击模板 3,点击上面“新建链接抽取”按钮,得到链接抽取,如图 13。

③关联链接列表的“新建链接抽取”。根据网页跳转规律,将模板 2 链接列表的“新建链接抽取”关联模板 3。如果配置的时候发现关联有问题,可以自己进行更改,如图 14:

第六步:使用定位过滤,得到导航列表的链接①按住 Ctrl+ 鼠标左键,进行区域选择,按住 Shift+ 鼠标左键,扩大选择区域。②点击确认选区,如图 15:

③右击模板预览,查看链接抽取结果,如图 16 所示:

④确认链接抽取是否正确,如图 17:

⑤使用标题过滤,得到“联系我们”的链接,如图 18 所示:

第七步:新建模板 4 添加示例地址,并添加链接抽取①新建模板 4,将模板 3 过滤得到的“联系我们”链接,作为模板 4 的示例地址。如:http://tianjin0311065.11467.c…,如图 19:

②新建数据抽取。直接点击模板 3,点击上面“新建数据抽取”按钮,得到数据抽取,如图 20。

③关联模板 3 的“新建链接抽取”。根据网页跳转规律,将模板 3 的“新建链接抽取”关联模板 4。如果配置的时候发现关联有问题,可以自己进行更改,如图 21:

第八步:创建 / 选择表单在 ForeSpider 爬虫中,表单是可以复用的,所以可以在数据表单出直接选择之前建过的表单,也可以通过表单 ID 来进行查找并关联数据表单。此处使用的是方法三。方法一:通过下拉菜单或表单 ID 选择已有表单方法二:点击创建表单进入快速建表页面,新建表单,如图 22 所示。

方法三:点击“采集配置”-“数据建表”,点击采“采集表单”后面的,如图 23:

第九步:配置表单根据所需内容,配置表单字段(即表头),此处配置了包括网页主键、联系人、电话、地址以及公司介绍五个字段。其中,公司介绍字段 intro_text 的取值在同一网站的不同页面,需要用到脚本取值,配置类型时需要选择高级取值 > 模板取值,表单如图 24:

第十步:字段取值①关联表单,如图 25 所示:

②取值方法:按住 Ctrl+ 鼠标左键,进行区域选择,按住 Shift+ 鼠标左键,扩大选择区域。person、tel、addr 字段,如图 26:

③intro_text 字段需要进行模板取值。
第十一步:创建新的模板,添加示例地址①表单 intro_text 字段来自公司介绍,如图 27 所示。

图中红框部分为取值内容,如图 28 所示:

②新建模板,添加“公司介绍”链接为示例地址,如:http://93358999.b2b.11467.com…(模板 3 右击模板预览,选择全部链接),如图 29 所示:

③直接点击模板 5,点击上面“新建数据抽取”按钮,得到数据抽取,如图 30:

第十二步:创建 / 选择表单点击“采集配置”-“数据建表”,点击采“采集表单”后面的,如图 31:

第十三步:配置表单根据所需内容,配置表单字段(即表头),此处配置了“公司介绍”字段 intro_text 表单如图 32:

第十四步:关联表单,完成“公司介绍”字段抽取①点击模板 5,关联表单,如图 33 所示:

②使用字段定位取值方法。按住 Ctrl+ 鼠标左键,进行区域选择,按住 Shift+ 鼠标左键,扩大选择区域,确认选区,如图 34 所示。

③右击模板预览,如图 35 所示:

④模板预览结果,如图 36 所示:

第十五步:模板取值关联①点击模板 4,点击 intro_text 字段,在红框中填入“href=[5]”,并按住 Ctrl+ 鼠标左键,进行区域选择,如图 37 所示。“[]”中填写模板 ID。

②点击模板 4,右击模板预览,如图 38 所示:

③预览结果如图 39 所示:

第十六步:采集预览①点击右上角采集预览, 如图 40:

②双击任意一条链接,看看是否可以得到和网页对应的规整的数据,如图 41、42、43 所示。

正文完
 0