爬虫
业务参谋是淘宝商家分析市场行情最常见的工具之一.淘宝为了防爬虫可谓下了不少功夫. 本次为了写一款抓取业务参谋数据的爬虫,真是费了不少很大的劲才破解内中的数据加密.
1. 登录最先爬虫肯定是自行化抓取,所以登录自然是要自行登录,但是业务参谋的登录跟淘宝的是一模一致的,当你用selenium翻开登录的时候就会被淘宝后端验证出来是个机器人。所以登录的话能够采用编译后的chromedriver来驱行chrome,或者行使mitmproxy用中央人的手腕阻止服务器发送来的js,修改js内中函数的检测selenium的特征值的手腕来登录.
2. transit-id加密获得登录后的cookie后,伪设想发送哀乞获得还必须在哀乞头里增补一个transit-id才能够获得相应内容.
如下图:
不过这个笔者现在小批测试,写丧生一个也能获得相应内容.
伪设在阅读器进行debug,会发现这个值是每现在端哀乞数据的时候,对一个固定字符串做了RSA加密来得到的.所以能够在爬虫里写一个同样的手腕获得transit-id.
原以为始末以上两步能够顺遂获得终局了,本相外明照样太天真了.查看终局发现的到的是这样的一堆数据:
正本业务参谋后台相应的数据由始末AES加密的,前端表现的是解密后的.
所以,要想获得实在的数据,还需要对数据做AES解密才能够.

可关注小我公众号,不按期分享一些爬虫案例和技巧
郑重声明:文章来源于网络,仅作为参考,如果网站中图片和文字侵犯了您的版权,请联系我们处理!
上一篇:店铺生意业务宝app下载
下一篇:做什么交易最赚钱快还成本低
相关推荐