推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2009 天前的主题，其中的信息可能已经有所发展或是发生改变。
1.获取 cookies:
使用 selenium 打开 chrome 访问天猫登陆界面，接着扫码登陆并保存 cookies，
2.使用 cookies:
再用 selenium 打开一个 chrome 访问天猫登陆界面，给 driver 添加刚才保存的 cookies，此时再访问某个商品界面时还会要求登陆
这两步间隔比较短，cookies 应该没有过期
求问，为什么 cookies 没有效果 /哭
使用 selenium 打开 chrome 访问天猫登陆界面，接着扫码登陆并保存 cookies，
2.使用 cookies:
再用 selenium 打开一个 chrome 访问天猫登陆界面，给 driver 添加刚才保存的 cookies，此时再访问某个商品界面时还会要求登陆
这两步间隔比较短，cookies 应该没有过期
求问，为什么 cookies 没有效果 /哭
 |
1
cxbanana 2019-07-02 11:16:54 +08:00
因为天猫对 selenium 有指纹信息识别，可以尝试捕获下天猫发送过来的 js 文件，修改检测代码，拦截替换下……
|
 |
2
youxiachai 2019-07-02 11:17:05 +08:00
天猫的防爬很先进的.....
你这个模型太简单了...一下下就被设别了.. |
 |
3
zr8657 2019-07-02 11:17:44 +08:00
天猫 cookie 很多的，你确定你添加全了吗，你都用 selenium 了直接登陆完开爬不行吗，一个账号爬个 5、6 页大概就会出验证了
|
 |
4
yaoye555 2019-07-02 11:23:15 +08:00
selenium 已经被淘宝系产品防死了,目前暂时能解决的就是修改 window.navigator.webdriver
|
 |
5
hoyixi 2019-07-02 11:26:18 +08:00
能请教下，爬这些电商爬来的数据，怎么变现？很好奇
|
 |
6
d5 2019-07-02 11:32:10 +08:00  1
可以考虑用测试框架来干这种事，比如在真机上用 airtest
|
 |
8
misaka19000 2019-07-02 11:43:24 +08:00 via Android
试下 puppeter
|
 |
9
di1012 2019-07-02 11:44:20 +08:00
其实你要是想搞到淘宝商品的数据，还不如直接爬一些做代购的公司的网站，人家用的是接口，还稳定
|
 |
10
lusi1990 2019-07-02 11:48:56 +08:00
换成 firefox， 或者使用 puppeteer 试试
https://www.jianshu.com/p/afdabf486b54(然后参考这个) |
 |
11
yanheqi 2019-07-02 15:23:24 +08:00
如果要抓 cnbeta 这种网站，能做到吗？
|
 |
12
annielong 2019-07-02 15:34:51 +08:00
天猫正常访问还时不时来个验证，
|
 |
13
smallhaes OP 谢谢大家的回复, 果然用天猫作为练习太难了, /哭 没把握好难度. 实验室的师兄师姐推荐换个网站练习
3 楼说的是 OK 的, 可以登录后直接开爬, 不方便的地方是得显示浏览器界面. 如果不显示浏览器界面的话, 登录这块也是个大难点, 所以我才想着用 cookie 跳过登录,同时不再显示浏览器界面 同时也感谢其他小伙伴们提出的建议, 我会去尝试哒~ 再次感谢大家!! |
 |
14
LicV587 2019-07-02 16:32:34 +08:00
selenium 这种东西，理所当然的会被淘宝系封，连我挂 VPN 访问都会被封。淘宝系现在的体验是越来越差，所以都不要淘宝天猫了
|
 |
15
limuyan44 2019-07-02 16:35:46 +08:00 via Android
连正常访问都可能拦截何况是个爬虫入门都会写的 selenium。。。
|
 |
16
murmur 2019-07-02 16:39:40 +08:00
我怀疑淘宝已经走火入魔，现在调试工具已经开始请求 webmidi 这种正常需求不可能用到的技术了，我怀疑是他在枚举当前浏览器支持的是所有技术，来判断你是正常的 chrome 还是在 headless 里
|
 |
17
2805408253 2019-07-02 17:43:12 +08:00
说白就是技术检测 加 行为规则验证。
技术检测就不说了 行为规则：比如正常人浏览一种商品的一页数据，最低也要超过 1 秒钟（极限啊 CAC ）。你搞的爬虫一秒钟上百个页面，当然过不了。（行为规则库还是很强大的） |
 |
18
Meli55a 2019-07-02 23:07:38 +08:00
别说是爬虫，正常人点都会出现这种验证，搜索几下就让爷休息，疯了
|
 |
19
wongyusing 2019-07-06 23:05:09 +08:00
selenium 基本上是没有办法爬取阿里系的网站的
他们会检查你的浏览器的 webdriver 是否为 True。 即使绕过了这个检测，还有各种各样的 js 行为检测 |
Select Language