关于网页爬虫:抖音-xgorgon-0408-数据加密算法-hook-逆向分析记录抖音接口抖音API

抖音xgorgon算法用ollvm混同了，次要是流程平坦化，流程混同和运算替换。

X-Gorgon是对cookie,X-SS-STUB,X-Khronos,Url进行混合加密之后的参数。这里也辨别状况，有些接口只有url和X-Khronos参加接口加密，有些是url，X-Khronos，X-SS-STUB参加接口加密，有些则是所有都进行接口加密。

概述

抖音版本外面加了好几个算法，有as,cp(晚期就这两个），mas,X-Gorgon，X-SS-STUB，X-Khronos算法，很多要害key之间有互相关联，只有有一个环节算错了，就会申请不到数据。目前版本的抖音加了很多的验证，及代码混同，难度偏大。

初探

抖音的签名算法在libcms.so中，在JNI_Onload中动静注册jni函数。
算法用ollvm混同了，次要是流程平坦化，流程混同和运算替换
次要用到一些逆向工具IDA,Xposed框架

钻研

8.0版本之后的算法次要是X-Gorgon和X-SS-STUB.之后通过抓包抖音接口，查看Java层,so层代码，剖析如下原理。

X-SS-STUB是post申请时body局部的md5值，然而在为空的状况下，有时候不参加加密，有时候参加加密，具体接口须要具体分析
X-Khronos比较简单就是一个unix工夫戳
X-Gorgon是对cookie,X-SS-STUB,X-Khronos,Url进行混合加密之后的参数。这里也辨别状况，有些接口只有url和X-Khronos参加接口加密，有些是url，X-Khronos，X-SS-STUB参加接口加密，有些则是所有都进行接口加密。具体接口具体分析

剖析

明天有空分享一下抖音的加密算法，作为领有宏大用户量的APP，其通信协议加密的强度必定是不弱的，要害算法被VM，只能动态分析去了解。咱们通过抓包剖析，申请的URL上带有AS、CP两个加密字段，这两个字段是晚期版本算法，后又陆续增加了MAS、X-GORGON算法。咱们明天先对AS、CP两个字段进行剖析，这个只能通过动静调试去跟踪加密过程。
首先咱们通过工具调试定位到函数

- [IESAntiSpam testForAlert:msg:]

定位的具体过程疏忽……，进入持续调试后发现调用SUB_102E3345函数进行加密排序
1.整顿剖析流程

 1.工夫戳转十六进制 2.将工夫戳排序俩次，  a1 v3 是排序key  sprintf(byte_102323F30, "%08x", a1);  sprintf(byte_102323F3A, "%08x", v3); 3.将url参数用MD5加密一次或俩次依据工夫戳&运算 4.将第一次排序后果写入前16位地址加一写入（从1插入），隔一位插入，前边拼a1 5.将第二次排序后果写入后16位（从0插入）后边拼e1

2.后果排序

a1d5b43se234dccea7 456dcd5s2320cf3e1 &cp=456fcd5s2320cfs3e1&as=a1d5b43se234dccea7 拼接实现后就能够申请了

前期版本增加了mas算法和最新的X-gorgon算法，目前最新系列版本算法如果须要理解的话能够交换。
3.流程详述

那么咱们就可能更加确信header里的x-gorgon对它进行了一次签名，所以咱们间接jadx上手浏览一波反编译后的代码，这里我间接搜寻了x-gorgon关键字，列出了以下后果：
那么咱们就可能更加确信header里的x-gorgon对它进行了一次签名，所以咱们间接jadx上手浏览一波反编译后的代码，这里我间接搜寻了x-gorgon关键字，列出了以下后果：

这里我抉择了hashMap.put("X-Gorgon", a3);这一行，跳转进去咱们来剖析一下它的代码
       这里咱们看到有一个它的值是来自a3，a3则是通过String a3 = a.a(com.ss.sys.ces.a.leviathan(i, currentTimeMillis, a.a(a2 + str4 + str5 + str6)));这行代码进行获取到的后果，咱们看到它传了4个参数，咱们来认真看一下这4个参数具体都是什么内容：
        a2起源：
            String b2 = tt.d(str);
            d.a(b2);
        str它就是该办法传进来的参数，咱们前面能够通过hook形式来获取它的具体内容，而它会执行tt.d()、d.a() 进行2次操作，咱们对其tt.d()跟进去


        咱们看到它对这个字符串进行了取 ? 和 # 两头值，狐疑是url，如果是url证实它只是取了url前面的参数，那么持续看它的下一个办法：d.a()
        咱们看到这里就是进行了MD5签名取值，那么a2剖析到此结束，咱们持续剖析第2个参数

        str4起源：
      这里非常简单，它就是枚举传进来的第二个参数map，判断如果有X-SS-STUB这个值的话就获取，反之则填充32个0，那么咱们抓包发现并没有X-SS-STUB这个参数，实际上如果咱们的包是POST的话它就会有，实际上它就是POST数据的一个MD5签名值。
        str5起源：
str5也非常简单，也是枚举map外面有没有COOKIE，如果有就把COOKIE进行MD5，那么该参数也到此结束了
        str6起源：

String c2 = tt.e(str3);if (c2 != null && c2.length() > 0) {     str6 = d.a(c2);     StcSDKFactory.getInstance().setSession(c2);}

        这里咱们记得str3是cookie，它执行了tt.e(str3) 办法获取一个返回值，如果它不是空同样给这个返回值md5，那么咱们跟进去看一下它是做了什么解决：
        这里咱们看到它是枚举了cookie外面有没有sessionid这个值，如果有就取出来，那么str6到此结束
      参数整顿：
            a2 = md5(url) 疑似对网址的参数进行md5
            str4 = x-ss-stub，只有post时才无效，否则是32个0
            str5 = md5(cookie) 对cookie进行md5
            str6 = md5(cookie['sessionid'])    对cookie外面对sessionid进行md5，否则也是32个0
        咱们整顿完了这4条参数后，持续剖析，它将这4个参数进行了字符串合并，接着执行 a.a(a2+str4+str5+str6)，咱们跟进去看看外面做了什么操作
        咱们看到它这里循环了总长度/2次，每次都是把 str[i] 转换成十进制左移4，而后加上 str[i+1] 都一个简略运算，并返回后果，也就是原本是4个32位（128位）而后通过加密后缩短成了64位长度。最初它执行了com.ss.sys.ces.a.leviathan(i, currentTimeMillis, a.a(a2 + str4 + str5 + str6))进行计算，咱们看到它还传了2个参数，i和currentTimeMillis，咱们往前能够看到 i是-1，而currentTimeMillis是以后都十位工夫戳。

        最初把计算好都byteArray通过位移转换成了string类型，并put到map外面，那么咱们也分明到看到，k-khronos也就是刚刚到currentTimeMillis工夫戳了。咱们发现因为om.ss.sys.ces.a.leviathan是在so层到libcms.so文件，并且外面有大量到混同就没有再度剖析。咱们能够通过xposed或者unidbg到办法进行调用。

0x02：参数确认

      这里咱们剖析完了它算法到具体参数结构实现后，咱们还须要确认它传到参数是否是咱们所联想到，那么这里咱们发现因为它这个办法是一个callback，咱们往前跟一下，寻找一个适合到hook点，应用frida进行hook

        这里我对它进行了调用查找，看到只有1个中央，咱们跟进去看看，跟进去之后它就是以下内容，就只是一个简略对赋值给sAddSecurityFactorProcessCallback，咱们在对它进行调用查找，看看是什么中央对它进行对调用。

public static void setAddSecurityFactorProcessCallback(a aVar) {
sAddSecurityFactorProcessCallback = aVar;
}

这里咱们看到它从这里取的回调指针变量，而后判断如果不为null则执行，那么咱们就能够间接hook这个办法：tryAddSecurityFactor$___twin___，这里我的hook代码也就比较简单，间接输入它传进去的map和str的值以及返回的map进行确认。

//frida -U com.ss.android.ugc.aweme -l test.jsJava.perform(function() {    var NetworkParams = Java.use("com.bytedance.frameworks.baselib.network.http.NetworkParams");    NetworkParams['tryAddSecurityFactor$___twin___'].implementation = function(str,map){    var keyset = map.keySet();    var it = keyset.iterator();    console.log("str:\t"+str)    while(it.hasNext()){        var keystr = it.next().toString();        var valuestr = map.get(keystr).toString()        console.log("map:\t"+keystr+"\t"+valuestr)    }    var ret    ret = this.tryAddSecurityFactor$___twin___(str,map);    var keyset = ret.keySet();    var it = keyset.iterator();    while(it.hasNext()){        var keystr = it.next().toString();        var valuestr = ret.get(keystr).toString()        console.log("ret map:\t"+keystr+"\t"+valuestr)    }    return ret;    }});

绿色局部就是str参数1的值，黄色则是map，蓝色则是返回的map，咱们看下charles的这个包的header里的xgorgon是不是返回的值。

3.总结：

以上就是对抖音对一个简略的x-gorgon的剖析笔记过程，心愿可能有所帮忙，也可能对本身的产品安全方面进行一个参考借鉴。

TiToData：业余的短视频数据接口服务平台。

更多信息请分割： TiToData

笼罩支流平台：抖音，快手，小红书，TikTok，Zynn，YouTube，1688，拼多多，淘宝，美团，饿了么，淘宝，微博