K 哥之前写过一篇对于百度翻译逆向的文章,也在 bilibili 上出过相应的视频,最近在 K 哥爬虫交换群中有群友提出,百度翻译新增了一个申请头参数 Acs-Token,如果不携带该参数,间接依照以前的办法进行解决,会呈现 1022 报错,并且如果间接将 Acs-Token 写成定值,前几次可能能胜利,多查问几次也会报同样的谬误,现对其进行逆向剖析,对往期代码进行重构。与此同时,K哥发现百度指数的某些接口有个 Cipher-Text 参数,与百度翻译的 Acs-Token 加密形式差不多,所以就一起剖析一波。

申明

本文章中所有内容仅供学习交换应用,不用于其余任何目标,不提供残缺代码,抓包内容、敏感网址、数据接口等均已做脱敏解决,严禁用于商业用途和非法用处,否则由此产生的所有结果均与作者无关!

本文章未经许可禁止转载,禁止任何批改后二次流传,擅自应用本文解说的技术而导致的任何意外,作者均不负责,若有侵权,请在公众号【K哥爬虫】分割作者立刻删除!

逆向指标

  • 指标:百度翻译最新申请头参数 Acs-Token,百度指数申请头 Cipher-Text
  • 主页:https://fanyi.baidu.com/
  • 接口:https://fanyi.baidu.com/v2tra...
  • sign、token 参数的逆向办法本文不再赘述,想理解的能够浏览 K 哥往期百度翻译逆向的文章

逆向过程

抓包剖析

先以百度翻译为例,轻易输出文字,能够看到没有刷新页面,翻译后果就进去了,由此能够推断是 Ajax 加载的,关上开发者工具,抉择 XHR 过滤 Ajax 申请,找到接口地位,详细分析举荐浏览 K 哥往期百度翻译逆向的文章,如下图能够看到在申请头中新增了一个 Acs-Token 参数,后面两串数字看起来像工夫戳,具体加密形式须要咱们来进一步剖析:

这里应用 Fiddler 插件 hook 定位 Acs-Token 参数,相干 hook 操作形式可浏览 K 哥往期文章,本文不再赘述:

(function () {    var org = window.XMLHttpRequest.prototype.setRequestHeader;    window.XMLHttpRequest.prototype.setRequestHeader = function (key, value) {        console.log(key, ':', value)        if (key == 'Acs-Token') {            debugger;        }        return org.apply(this, arguments);    };})();

革除缓存,点击翻译,能够看到胜利 hook 到 Acs-Token 参数,往下跟栈即可找到其值生成的地位:

逆向剖析

向下跟栈剖析,Acs-Token 参数的值在 translate.js 文件的第 187 行生成,由 sign 参数传递,sign 参数定义在第 180 行,在第 195 行打下断点调试,点击翻译后胜利在断点处断下:

跟进 getAcsSign() 函数,整体选中,点击进入到 paris.js 文件中,能够看到函数体中创立了一个异步 Promise 对象进行异步操作:

Promise 的构造函数接管一个函数参数,并且这个函数须要传入两个参数:

  • resolve:异步操作执行胜利后的回调函数;
  • reject:异步操作执行失败后的回调函数。

所以异步操作执行胜利即返回 sign 参数的值:

到这里曾经拿到 sign 了,咱们再向上跟栈,能够发现 Acs-Token 参数的值在 acs-2060.js 文件的第 805 行生成,很显著是拼接而成的:

上图是几天前剖析的时候断下的状况,明天再次剖析的时候发现构造变了,如下图所示:

这个 acs-2060.js 是咋来的呢?在 paris.js 里其实能够看到 init 初始化了了一些配置文件,其中的 acsUrl 就是 acs-2060.js 的地址,2060 是渠道号,由管理员调配,依据正文能够看到这个货色叫做“玉门关”。

持续后面的步骤,剖析一下 acs-2060.js,在第 805 行打断点调试,剖析 a8() 中各拼接局部含意,可失去如下后果:

  • b('0x78') 或者 '\x31\x36\x36\x30\x35\x34\x36\x38\x30\x39\x35\x30\x35\x5f':固定字符串 1660287615129_ 或者 1660546809505_,这里每隔一段时间都会变动。具体的变动周期得须要继续察看一下才晓得。
  • ae:以后工夫戳
  • '\x5f':下划线 _
  • eg(a2, a0, a1):一大串加密字符串,在控制台输入能够晓得 a2, a0, a1 各自的含意

a0,a1 为定值,剖析 a2 字典中各参数值含意:

  • ua:浏览器类型
  • url:翻译链接,例如输如 spider,url 即为 https://fanyi.baidu.com/#zh/e...
  • platform:平台操作系统版本
  • clientTs:以后工夫戳
  • version:版本号

选中 eg,跟进到 eg 函数定义的地位,在 acs-2060.js 文件的第 537 行:

具体内容如下:

function eg(a2, a8, a9) {    return a2 = b('0x4d') == typeof a2 ? JSON[b('0xc')](a2) : void 0x0 === a2 ? '' : '' + a2,        dD[b('0x37')](a2, ad[b('0x29')](a8), {        '\x69\x76': ad[b('0x29')](a9),        '\x6d\x6f\x64\x65': cc,        '\x70\x61\x64\x64\x69\x6e\x67': cz    })[b('0x27')][b('0xa')](ag);}

能够在第 538 行打断点进行调试,亦可从控制台间接打印混同局部内容,会发现三个经典加密参数:

  • '\x69\x76':iv,偏移量
  • '\x6d\x6f\x64\x65':mode,加密形式
  • '\x70\x61\x64\x64\x69\x6e\x67':padding,填充形式

并且在第 548 即将 eg 赋值给了 window.aes_encrypt,很显著 AES 加密了,能够抉择间接引库,也能够间接扣代码,这里不做持续钻研:

百度指数 Cipher-Text

百度指数的 Cipher-Text 和百度翻译的 Acs-Token 在结构上是一样的,依据百度翻译的教训,咱们晓得外围加密代码应该在“玉门关”外面,不同的站调配的渠道号不一样,咱们间接全局搜寻 acsUrl,或者间接找 acs 结尾的 JS,会发现有一个 acs-2057.js

老样子,在 a8() 处下断,刷新接口,即可断下:

百度指数与百度翻译不一样的中央在于结尾的那个工夫戳不一样,变量 a0 不一样,其余的逻辑都是一样的,咱们留神到结尾的工夫戳隔一段时间就会扭转,如果在我的项目代码中利用,人工定时去改必定是不合理的,这里的解决思路能够是先在本地固定一套算法,而后每次申请先去拿 acs 结尾的那个 JS,拿到内容后,通过正则匹配去拿到那个工夫戳,再传到本地的算法里生成最终值,灵活处理即可。

至此,Cipher-Text 和 Acs-Token 就剖析完结了,本次逆向的加密算法其实并不难,然而想要找到加密地位须要肯定的技巧,另外在写这篇文章时,发现百度翻译不加 Acs-Token 申请又能够了,目前的情况是有时候不加能够申请,有时候不加又不能申请,如果你申请发现报错 {"errno":1022,"errmsg":"拜访出现异常,请刷新后重试!","error":1022,"errShowMsg":"拜访出现异常,请刷新后重试!"},那就能够尝试加上这个参数。

残缺代码

bilibili 关注 K 哥爬虫,小助理手把手视频教学:https://space.bilibili.com/16...

GitHub 关注 K 哥爬虫,继续分享爬虫相干代码!欢送 star !https://github.com/kgepachong/

以下只演示局部要害代码,不能间接运行!

baidufanyi_encrypt.js

var window =  global;// 以下局部内容过长,此处省略// 残缺代码关注 GitHub:https://github.com/kgepachong/crawler(function(){...})()function ascToken(translate_url){    // 局部参数间接写死了,不同网站参数值不同,如果在我的项目中应用,请灵活处理    var a0 = 'uyaqcsmsseqyosiy';    var a1 = '1234567887654321';    var ae = (new Date).getTime();    var a2 = '{"ua":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36","url":' + translate_url + '","platform":"Win32","clientTs":' + ae + ',"version":"2.2.0"}';    // 这里结尾的工夫戳写死了,如果申请失败请更新这个值    return '1660546809505_' + ae + '_' + window.aes_encrypt(a2, a0, a1);}// console.log(ascToken("https://fanyi.baidu.com/#zh/en/%E6%B5%8B%E8%AF%95"))

baidufanyi.py

# ==================================# --*-- coding: utf-8 --*--# @Time    : 2021-08-12# @Author  : 微信公众号:K哥爬虫# @FileName: baidufanyi.py# @Software: PyCharm# ==================================import reimport execjsimport requestsfrom urllib import parsesession = requests.session()index_url = 'https://fanyi.baidu.com/'lang_url = 'https://fanyi.baidu.com/langdetect'translate_api = 'https://fanyi.baidu.com/v2transapi'headers = {    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36',}# cookies = {#     "BAIDUID": "624363427DBD2BFCDF0C3D6E129F5C65:FG=1"# }def get_params(query):    # 获取 token 和 gtk    session.get(url=index_url, headers=headers)    # print(session.cookies.get_dict())    response_index = session.get(url=index_url, headers=headers)    token = re.findall(r"token: '([0-9a-z]+)'", response_index.text)[0]    gtk = re.findall(r'gtk = "(.*?)"', response_index.text)[0]    # 自动检测语言    response_lang = session.post(url=lang_url, headers=headers, data={'query': query})    lang = response_lang.json()['lan']    return token, gtk, langdef get_sign_and_token(query, gtk, lang):    with open('baidufanyi_encrypt.js', 'r', encoding='utf-8') as f:        baidu_js = f.read()    sign = execjs.compile(baidu_js).call('e', query, gtk)    translate_url = 'https://fanyi.baidu.com/#%s/en/%s' % (lang, parse.quote(query))    acs_token = execjs.compile(baidu_js).call('ascToken', translate_url)    return sign, acs_tokendef get_result(query, lang, sign, token, acs_token):    data = {        'from': lang,        'to': 'en',        'query': query,        'transtype': 'realtime',        'simple_means_flag': '3',        'sign': sign,        'token': token,    }    headers["Acs-Token"] = acs_token    response = session.post(url=translate_api, headers=headers, data=data)    result = response.json()['trans_result']['data'][0]['dst']    return resultdef main():    query = input('请输出要翻译的文字:')    token, gtk, lang = get_params(query)    sign, acs_token = get_sign_and_token(query, gtk, lang)    result = get_result(query, lang, sign, token, acs_token)    print('翻译成英文的后果为:', result)if __name__ == '__main__':    main()