关于c#:你没有看错爬网页数据C-也可以像-Jquery-那样

前段时间搞了一个地方性民生资讯号，资讯嘛，都是我抄你的，你抄官媒的，小市民都喜爱奇闻异事，所以就存在一个需要，如何去定向抓取奇闻异事的中央号上的新闻，其实做起来很简略，用逻辑回归即可，这篇次要探讨如何去抓取，在 C# 中大家都晓得抓取通用的库是 HtmlAgilityPack，然而这个库支流的做法是采纳 xpath 提取网页内容，这就让我很不爽了，毕竟不相熟莫名的抵制哈，像我这个年纪的码农，被 Jquery 教育了至多 5-6 年，所以必须用类 Jquery 的形式，在 python 中有 cquery 做这件事件，那在
C# 中有没有相似的形式呢？嘿嘿，万能的 github 上还真有。。。就是本篇介绍的 CSQuery。

github 的地址：https://github.com/zone117x/C… 而后在 vs 中 nuget 一下即可：

所有都准备就绪了，那怎么用呢？不焦急，我以博客园举两个例子。

如上图，要想获取这里的 友情链接 几个大字，间接用 text() 必定是不行的，默认状况它会将所有的子节点的文本也会抓到，如下图：

那怎么解决呢？能够用 jquery 提供的 contents 办法，而后在获取的所有子节点中判断是否有文本节点，最初获取文本节点的内容即可，如下代码：

用 js 是搞定了，那用 CSQuery 代码怎么搞定呢？模拟呗，如下代码：


        static void Main(string[] args)
        {var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));

            var content = jquery["#friend_link"].Contents().Filter((dom) =>
            {return dom.NodeType == NodeType.TEXT_NODE;}).Text();

            Console.WriteLine(content);
        }

我不晓得用 xpath 提取这样的内容麻不麻烦，不过用 jquery 形式不简略，但驾轻就熟。

有时候为了业务须要将某些 html 标签改一下色彩，比如说将首页的 tabmenu 中 博问 和 专区 改成红色，如下图：

那用 CSQuery 怎么解决呢？如果玩过 jquery，一般来说步骤如下：

应用 each 遍历每一个子 li 标签
应用 CSS 办法给 li 中 a 标签赋款式
应用 Render 渲染生成一个新的的 html

有了步骤，C# 代码如下：


        static void Main(string[] args)
        {
            Config.HtmlEncoder = HtmlEncoders.None;

            var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));

            var html = jquery["#nav_left li"].Each(dom =>
               {var self = jquery[dom];

                   var text = self.Text();

                   if (text == "博问" || text == "专区")
                   {self.Find("a").CssSet(new { color = "red"});
                   }
               }).Render();}

除了下面两个操作方法外，你还能够应用 after，before，replaceAll,IS 等等一百来个实用的办法，这篇必定也无奈一一介绍了，大家有趣味能够下载下来看一看，捣鼓捣鼓。

除了抓取 html 中的元素，我感觉这玩意还能够用在发送邮件时操控邮件模板，毕竟在很久以前大家都是用 jquery 来绘制 html，所以用 CSQuery 也是能够的，绝对应用 xslt 有利有弊吧，接下来做一个例子：


<!DOCTYPE html>

<html lang="en" xmlns="http://www.w3.org/1999/xhtml">
<head>
    <meta charset="utf-8" />
    <title></title>
</head>
<body>
    <ul id="main"></ul>
</body>
</html>

能够用 Append 将内容追加到 <ul> 节点内。


    class Program
    {static void Main(string[] args)
        {
            Config.HtmlEncoder = HtmlEncoders.None;

            var strlist = new string[2] {"1", "2"};

            var path = Environment.CurrentDirectory + "\\2.html";
            var jquery = CQ.CreateFromFile(path);

            foreach (var str in strlist)
            {jquery.Find("#main").Append($"<li>{str}</li>");
            }

            var html = jquery.Render();}
    }

Render 办法是将整个 Dom 渲染成 html，但有时候你只须要失去你批改的那局部内容，而不是整个 html，这就波及到了局部渲染，能够用 RenderSelection 办法即可，代码如下：


        static void Main(string[] args)
        {
            Config.HtmlEncoder = HtmlEncoders.None;

            var strlist = new string[2] {"1", "2"};

            var path = Environment.CurrentDirectory + "\\2.html";
            var jquery = CQ.CreateFromFile(path);

            var current = jquery.Find("#main");

            foreach (var str in strlist)
            {current.Append($"<li>{str}</li>");
            }

            var html = current.RenderSelection();

            Console.WriteLine(html);
        }

------------- output ----------------

<ul id="main"><li>1</li><li>2</li></ul>

Jquery 这种操作模式对我集体来说还是比拟难受的，毕竟熟！不过在 html5 中也新增了 querySelector 和 querySelectorAll 反对 css3 选择器，十分弱小，可 jquery 不光在选择器的灵便上，还在于对节点的灵便操作上，总的来说不是特地富交互的状况下能够念旧一把。

关于c#:你没有看错爬网页数据C-也可以像-Jquery-那样

一：背景

1. 讲故事

二：CSQuery

1. 装置

2. 举几个例子

1) 将首页中的情谊连贯提取到

2) 如何将 html 中的某些元素标色彩

3) 其余的操作方法

三：其余用处

1. 生成一个 html 模板

2. 应用 CSQuery 给 ul 追加 li

3. 局部渲染 RenderSelection

四：总结