共计 2730 个字符,预计需要花费 7 分钟才能阅读完成。
一:背景
1. 讲故事
前段时间搞了一个地方性民生资讯号,资讯嘛,都是我抄你的,你抄官媒的,小市民都喜爱奇闻异事,所以就存在一个需要,如何去定向抓取奇闻异事的中央号上的新闻,其实做起来很简略,用逻辑回归即可,这篇次要探讨如何去抓取,在 C# 中大家都晓得抓取通用的库是 HtmlAgilityPack,然而这个库支流的做法是采纳 xpath 提取网页内容,这就让我很不爽了,毕竟不相熟莫名的抵制哈,像我这个年纪的码农,被 Jquery 教育了至多 5-6 年,所以必须用 类 Jquery 的形式,在 python 中有 cquery 做这件事件,那在
C# 中有没有相似的形式呢?嘿嘿,万能的 github 上还真有。。。就是本篇介绍的 CSQuery。
二:CSQuery
1. 装置
github 的地址:https://github.com/zone117x/C… 而后在 vs 中 nuget 一下即可:
2. 举几个例子
所有都准备就绪了,那怎么用呢?不焦急,我以博客园举两个例子。
1) 将首页中的 情谊连贯 提取到
如上图,要想获取这里的 友情链接
几个大字,间接用 text() 必定是不行的,默认状况它会将所有的子节点的文本也会抓到,如下图:
那怎么解决呢?能够用 jquery 提供的 contents 办法,而后在获取的所有子节点中判断是否有 文本节点,最初获取文本节点的内容即可,如下代码:
用 js 是搞定了,那用 CSQuery 代码怎么搞定呢?模拟呗,如下代码:
static void Main(string[] args)
{var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));
var content = jquery["#friend_link"].Contents().Filter((dom) =>
{return dom.NodeType == NodeType.TEXT_NODE;}).Text();
Console.WriteLine(content);
}
我不晓得用 xpath 提取这样的内容麻不麻烦,不过用 jquery 形式不简略,但驾轻就熟。
2) 如何将 html 中的某些元素标色彩
有时候为了业务须要将某些 html 标签改一下色彩,比如说将首页的 tabmenu 中 博问
和 专区
改成红色,如下图:
那用 CSQuery 怎么解决呢?如果玩过 jquery,一般来说步骤如下:
- 应用 each 遍历每一个子 li 标签
- 应用 CSS 办法给 li 中 a 标签赋款式
- 应用 Render 渲染生成一个新的的 html
有了步骤,C# 代码如下:
static void Main(string[] args)
{
Config.HtmlEncoder = HtmlEncoders.None;
var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));
var html = jquery["#nav_left li"].Each(dom =>
{var self = jquery[dom];
var text = self.Text();
if (text == "博问" || text == "专区")
{self.Find("a").CssSet(new { color = "red"});
}
}).Render();}
3) 其余的操作方法
除了下面两个操作方法外,你还能够应用 after,before,replaceAll,IS 等等一百来个实用的办法,这篇必定也无奈一一介绍了,大家有趣味能够下载下来看一看,捣鼓捣鼓。
三:其余用处
除了抓取 html 中的元素,我感觉这玩意还能够用在发送邮件时操控邮件模板,毕竟在很久以前大家都是用 jquery 来绘制 html,所以用 CSQuery 也是能够的,绝对应用 xslt 有利有弊吧,接下来做一个例子:
1. 生成一个 html 模板
<!DOCTYPE html>
<html lang="en" xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta charset="utf-8" />
<title></title>
</head>
<body>
<ul id="main"></ul>
</body>
</html>
2. 应用 CSQuery 给 ul 追加 li
能够用 Append 将内容追加到 <ul>
节点内。
class Program
{static void Main(string[] args)
{
Config.HtmlEncoder = HtmlEncoders.None;
var strlist = new string[2] {"1", "2"};
var path = Environment.CurrentDirectory + "\\2.html";
var jquery = CQ.CreateFromFile(path);
foreach (var str in strlist)
{jquery.Find("#main").Append($"<li>{str}</li>");
}
var html = jquery.Render();}
}
3. 局部渲染 RenderSelection
Render 办法是将整个 Dom 渲染成 html,但有时候你只须要失去你批改的那局部内容,而不是整个 html,这就波及到了局部渲染,能够用 RenderSelection
办法即可,代码如下:
static void Main(string[] args)
{
Config.HtmlEncoder = HtmlEncoders.None;
var strlist = new string[2] {"1", "2"};
var path = Environment.CurrentDirectory + "\\2.html";
var jquery = CQ.CreateFromFile(path);
var current = jquery.Find("#main");
foreach (var str in strlist)
{current.Append($"<li>{str}</li>");
}
var html = current.RenderSelection();
Console.WriteLine(html);
}
------------- output ----------------
<ul id="main"><li>1</li><li>2</li></ul>
四:总结
Jquery 这种操作模式对我集体来说还是比拟难受的,毕竟熟!不过在 html5 中也新增了 querySelector 和 querySelectorAll 反对 css3 选择器,十分弱小,可 jquery 不光在选择器的灵便上,还在于对节点的灵便操作上,总的来说不是特地富交互的状况下能够念旧一把。