前嗅ForeSpider脚本教程-链接抽取:链接在源码的js变量里写脚本

24次阅读

共计 905 个字符,预计需要花费 3 分钟才能阅读完成。

今天,小编给大家带来的教程为:前嗅 ForeSpider 脚本教程 - 链接抽取中,链接在源码的 js 变量里写脚本的实战教程。具体内容如下:链接地址可在源码中查找到。在目标网页右键,选择“查看源代码”,键盘点击“ctrl+F”,查找目标链接所在位置。目标链接存在于 js 变量中。1. 链接需要循环场景:要抽取的一组链接都在源码中出现,集中分布。示例:获取今日头条热点新闻列表页链接

查看列表页第一条链接,链接地址为“https://www.toutiao.com/group/6637244114360336900/”,在该网页,鼠标右键,选择查看源代码,“Ctrl+F”查找字符串“6637244114360336900”,定位其位置。

观察可知,中文字符都以”u”开头的字符串表示,显示为 unicode 编码格式,由“站长工具”在线转编码之后即可展示中文。此外链接地址分割符“/”加了转义符“”,不过软件已经帮助我们做了转义处理,此处无需担心,直接赋值即可。

将转义后的字符串放置于 JSON 查看器中(以 notepad++ 的插件“JSON Viewer”为例),则可观察到数据形式为 json。

脚本实例:
var str=DOM.GetSource().ToStr(); // 获取本链接地址网页源码
var jsonStr=DOM.UnEscape(str.Middle(“data = “,”]};”)+”]}”); // 截取数据所在字符串
jScript js;// 定义 JS 变量
var obj=js.RunJson(jsonStr);// 解析 JSON 串,并返回 JSON 对象
var ar=obj.real_time_news;// 获取目标数据所在数组
for(int i=0;i<ar.size;i++)// 通过循环添加链接
{
url u;
u.title=ar[i].title;
u.urlname=”https://www.toutiao.com”+ar[i].open_url;
u.entryid=CHANN.id;
u.tmplid=2;
RESULT.AddLink(u);
}

2. 链接不循环场景:要抽取少数链接,位置分散,如天猫分类页(三级分类)。实例:暂无。

正文完
 0