Python使用xslt提取网页数据

37次阅读

共计 506 个字符,预计需要花费 2 分钟才能阅读完成。

在 python 网络爬虫内容提取器一文我们详细了解了核心部件:可插拔的内容提取器 gsExtractor。本文记录了确定 gsExtractor 的技术路线过程中所做的编程实验。这是第一部分,实验了 xslt 方式一次性提取静态网页内容并转换成 xml 格式。用 lxml 库实现网页内容提取 Lxml 是 python 的一个库,可以迅速,灵活地处理 XML Path Language(XPath)和 Extensible Stylesheet Language Transformation(XSLT),并且实现了常见的 ElementTree API. 这 2 天测试了在 python 中通过 xslt 来提取网页内容,记录如下:1. 抓取目标假设要提取论坛的帖子标题和回复数,要把整个列表提取出来,存成 xml 格式 2. 源代码 1:只抓当前页,结果显示在控制台 Python 的又是是用很少两代码就能解决一个问题,请注意下面的买吗看起来很长,其实 python 函数调用没有几个,大篇幅被一个 xslt 脚本占去了,在这段代码中,只有一个好长的字符串而已,至于为什么选择 xslt,而不是离散的 xpath 或者让人挠头的正则表达式,我们期望通过这个构架,把程序员的时间节省下来一大半。

正文完
 0