前嗅ForeSpider脚本教程:频道脚本使用场景及配置关键词搜索

30次阅读

共计 1011 个字符,预计需要花费 3 分钟才能阅读完成。

今天,小编给大家带来的教程为:前嗅 ForeSpider 脚本教程中频道脚本的应用场景以及脚本配置关键词搜索的实战教程。具体内容如下:
一. 频道脚本使用场景
当需要手动创建采集源列表,或者完全使用脚本采集数据时,在“频道脚本”处,你可能用到的类为 extractor、result。你可以定义类的对象来使用其成员方法,也可以使用 EXTRACT、RESULT 两个全局对象。关于这两个类的详细说明以及该场景的更多示例,可以点击“教程 -> 脚本教程 -> 脚本示例 -> 频道脚本”来查看相关内容。
二. 脚本配置关键词搜索
1. 关键词不含验证码场景:当一类链接中只需要替换一部分字符串,即可得到目标链接。则可以将这部分字符串作为关键词,添加频道脚本,达到链接抽取的目的。示例:暂无。
2. 关键词含验证码场景:当通过可视化方式不能获取验证码刷新事件时,需要手动寻找验证码刷新请求并填写至相应输入框,与此同时,添加验证码参数至参数列表。示例:采集京东店铺工商信息。使用开发者工具(以搜狗浏览器为例,在浏览器中按 F12 打开)抓包,在目标网页右键点击“审查元素”,选择“NetWork”,先清空所有缓存信息,点击验证码图片,查找验证码刷新请求:“https://mall.jd.com/sys/vc/cr…”。可以发现每次刷新验证码,请求链接中 random 参数的值都不同,则需要查找 random 生成的 js 事件。在网页源码中找到以下代码。填写 js 刷新事件于文本框内,值得注意的是,只需修改 this.src 的值即可。脚本实例:
var key = EXTRACT.GetSearch(this);
var form = key.Search();
url u;
var postData;
while(form){
var ocrCode = form.verifyCode;
u.urlname = “https://mall.jd.com/”+”showLicence-“+form.text+”.html”;
u.title = ocrCode;
u.entryid = this.id;
u.tmplid = 1;
postData = “verifyCode=”+ocrCode;
var d = EXTRACT.OpenDoc(this,u.urlname,postData,0);
if(d){
this.Run(d,1);
EXTRACT.CloseDoc(d);
}
form = key.Search();
}
key.End();

正文完
 0