这是一个创建于 1828 天前的主题，其中的信息可能已经有所发展或是发生改变。
我刚刚开始学习 app 爬虫，也完成了一两个简单的练手项目，但是在通达信 app 上抓包遇到了问题。首先，Charles 根本抓不到任何东西，只抓到几张图片。于是我按照网上的方法使用 Packet Capture 和 HttpCanary 进行抓包，抓到的都是一堆乱码。各位前辈们有知道大概是什么原因吗？是用了私有协议吗？我该学习哪方面的东西才能解决这个问题呢？
 |
1
zhaoboy666 2019-11-24 22:29:27 +08:00
证书安装了吗？无 root 就用安卓 7.0 以下，不包括安卓 7.0，7.0 以上用 HttpCanary 证书移到系统里面，再去试试？？再不行的 留言吧
|
 |
2
Jirajine 2019-11-24 22:51:13 +08:00 via Android
|
 |
3
muzuiget 2019-11-25 00:14:26 +08:00
HTTP 还是 HTTPS 先？
|
 |
4
dearmymy 2019-11-25 01:06:35 +08:00
百度怎么抓 https。如果安装证书中间人也不行，先本地 ssl 校验 patch 掉，如果还不能抓，就有可能服务器校验证书，那就只能逆向程序，找到证书了。
|
 |
5
itstudying 2019-11-25 09:32:47 +08:00
实时的行情数据这种一般都是自建 socket 协议，很少会使用 http
|
 |
6
fowill OP @dearmymy @zhaoboy666 @muzuiget 我刚刚使用 virtual xposed + justtrustme 破解了 ssl pinning，然后用 charles 和 HttpCanary 抓包，依然是和之前一样，抓到的是乱码。做逆向会有用吗？还是什么别的可能的原因呢？
乱码就像这样： ?7� -̬ c`\� % �5��fW��Xr�K2 ���<>U]X@zv��� ����� ��AL����u' ��a�� g� ' �Ĩz��\& �8�����e��� j��� ��̓��� �V�j�v � �LT� & ���!��i1��-w#��Q �������������6� S�4��Q}��c4 |
|
7
fowill OP @itstudying 自建 socket 协议就无法抓到数据包吗？我现在还大二，读的是管理类专业，所以相关知识可能不太懂，我需要去看哪方面的知识才能解决 socket 顺利爬到数据呢？
|
|
8
fowill OP @Jirajine 我使用了 virtual xposed 和 justtrustme，应该和您这个是一样的效果，但是爬下来数据还是乱码，可能是哪方面的问题呢？
乱码就像这样： ?7� -̬ c`\� % �5��fW��Xr�K2 ���<>U]X@zv��� ����� ��AL����u' ��a�� g� ' �Ĩz��\& �8�����e��� j��� ��̓��� �V�j�v � �LT� & ���!��i1��-w#��Q �������������6� S�4��Q}��c4 |
|
9
Jirajine 2019-11-25 14:13:56 +08:00 via Android
@fowill 信息不足，拿 v2ex，微博这种已知用 HTTPS 协议的站点测试一下，如果不提示证书错误且成功解码出加密数据那说明你配置的没问题，人家用的私有协议，否则还是证书问题，用我发的那个模块配 edxposed 亲测可以正常解密。
|
|
10
itstudying 2019-11-25 14:46:39 +08:00
@fowill #7 windows、mac 上可以试下 wireshark，linux 可以试下 tcpdump，Android 上可以在 adb 中使用 tcpdump，抓 Android 上 HTTP 的请求可以试下 HttpCanary，IOS 上 HTTP 请求可以试下 Stream，各种平台有很多类似的工具。不过像你上面抓 http 的接口乱码的问题应该是因为协议是 HTTPS 或者是数据经过加密或编码，需要试着把证书问题解决掉，楼上的方法也可以。
|
|
11
fowill OP @itstudying @Jirajine 非常感谢两位！我试着按照你们说的方法依次解决下！
|
 |
12
tfdetang 2019-11-25 18:23:49 +08:00
你是想要用 app 的接口做程序化交易吗？根据我个人的经验，一般金融软件还会对通讯的内容做加密。可能需要解包来看信息是怎么加解密的(我也不会破解，所以没搞定)
|
 |
14
iccfish 2019-11-26 01:37:26 +08:00
首先你要确定能正确抓到 HTTPS 或类似的加密协议。再就是，一般这种软件用的都是私有协议，并不是 web 协议。
|
|
15
tfdetang 2019-11-26 09:47:12 +08:00  1
@fowill 如果只是想要行情数据，其他选择也蛮多的 。可以去聚宽申请 sdk 试用，或者去 tushares 捐赠获取行情数据。如果需要的数据比较全，可以看看淘宝是否能买到 wind 的账号，然后用 wind 的 sdk 把数据导出来。爬虫的话新浪财金，东方财富也可以的
|
|
16
fowill OP @tfdetang 学校里面一般我们都是使用 wind 的，tushares 之前我也有过了解。其实我并不是真的想要这个数据，只是想找一个难一点的 app 去爬，学习锻炼下技术而已（想掌握反编译）哈哈。谢谢前辈指点！
|
 |
18
hilon 2020-10-19 15:58:21 +08:00
楼主解决乱码的问题了吗
|
Select Language