我的网站

爬虫

2021-11-28 02:38分类:星星饮品 阅读:

业务参谋是淘宝商家分析市场行情最常见的工具之一.淘宝为了防爬虫可谓下了不少功夫. 本次为了写一款抓取业务参谋数据的爬虫,真是费了不少很大的劲才破解内中的数据加密.

1. 登录

最先爬虫肯定是自行化抓取,所以登录自然是要自行登录,但是业务参谋的登录跟淘宝的是一模一致的,当你用selenium翻开登录的时候就会被淘宝后端验证出来是个机器人。所以登录的话能够采用编译后的chromedriver来驱行chrome,或者行使mitmproxy用中央人的手腕阻止服务器发送来的js,修改js内中函数的检测selenium的特征值的手腕来登录.

2. transit-id加密

获得登录后的cookie后,伪设想发送哀乞获得还必须在哀乞头里增补一个transit-id才能够获得相应内容. 如下图:在这儿插入图片描述 不过这个笔者现在小批测试,写丧生一个也能获得相应内容. 伪设在阅读器进行debug,会发现这个值是每现在端哀乞数据的时候,对一个固定字符串做了RSA加密来得到的.所以能够在爬虫里写一个同样的手腕获得transit-id.

3. data加密

原以为始末以上两步能够顺遂获得终局了,本相外明照样太天真了.查看终局发现的到的是这样的一堆数据:在这儿插入图片描述 正本业务参谋后台相应的数据由始末AES加密的,前端表现的是解密后的. 所以,要想获得实在的数据,还需要对数据做AES解密才能够.

运行终局 表现运行终局 在这儿插入图片描述

可关注小我公众号,不按期分享一些爬虫案例和技巧 在这儿插入图片描述

郑重声明:文章来源于网络,仅作为参考,如果网站中图片和文字侵犯了您的版权,请联系我们处理!

上一篇:店铺生意业务宝app下载

下一篇:做什么交易最赚钱快还成本低

相关推荐

返回顶部