一直有一个需求，希望看到自己网站在百度的实时的排名用过一些工具，要么反应迟钝，要么结果不准确或不实时于是打算用jsoup写一个小爬虫来实时百度看网站排名

前面我们了解了一些关于 Python 爬虫的知识，不过都是基于 PC 端浏览器网页中的内容进行爬取。现在手机 App 用的越来越多，而且很多也没有网页端，比如抖音就没有网页版，那么上面的视频就没法批量抓取了吗？

内容清单 Charles 的简介 安装 Charles Charles 初始化设置 过滤网络请求 截取HTTP/HTTPS数据 模拟弱网环境 修改网络请求 修改服务器返回内容 服务器压力测试 反向代理 解决与翻墙软件的冲突 Charles 的简介 Char…

网络爬虫被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。

之前在上家公司的时候做过一些爬虫的工作，也帮助爬虫工程师解决过一些问题。然后我写过一些文章发布到网上，之后有一些人就找我做一些爬虫的外包，内容大概是爬取小红书的用户数据和商品数据，但是我没做。我觉…

大众点评爬虫、API，可以进行单独城市、单独地区、单独商铺的爬取、搜索、多类型地区搜索、信息获取、提供MongoDB数据库存储支持，可以进行点评文本解密的爬取、存储。

那我们怎样抓包呢？如果直接抓取浏览器上的内容，可以直接使用开发者工具进行抓包，但有个局限，只能抓浏览器的，功能也没有多少。还可以使用别的工具，比如 mitmproxy、charles，当然还有今天所说的 Fiddler 。…

上次研究了如何在java内置javascript解释器nashorn中加载npm模块，这两天手头又有一个需求，要在Chrome浏览器的开发者控制台中加载同样的npm模块，以便在控制台中验证一些想法。因为对前端开发不算熟悉，不知道有…

语言代码既不符合ISO 639-2，也不符合 ISO-639-1 简直了…………

对某网站加密混淆后的javascript代码也算分析了一段时间了，虽然还没搞出来，但多少有些心得，这里记录一下。