推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
对于 Python 爬虫遇到一个问题，对于这样一个网站： www.icgoo.net，它好像是异步加载的，需要的型号数据在 XHR 里的 html 语句里，设置了 csrftoken。请问要什么方案爬取比较好呢？先谢谢打大家了
sr0miao · 2018-03-13 17:14:24 +08:00 · 3626 次点击这是一个创建于 2453 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
cdwyd 2018-03-13 17:23:24 +08:00 via Android
获取 csrftoken 然后抓就是了
|
 |
3
Mojy 2018-03-13 17:48:19 +08:00  1
最简单的方式是通过模拟浏览器的方式进行爬虫，缺点就是稍微有点慢，需要等到页面加载完成才好
|
 |
4
cokky 2018-03-13 18:07:07 +08:00 1
用 phantomjs 模拟浏览器方式来试试
|
 |
5
Nick2VIPUser 2018-03-13 18:11:25 +08:00 3
点进 chrome 里面的 Source，到?partno=ADIS16251ACCZ&qty=1 这个 page 里面搜索 token 字段，把 token 出现的地方打断点调试，边调试边读 js 代码的实现，token 初始值多少经过什么代码变成了什么样子，最后算出来是多少。然后使用 python 代码实现～
|
 |
6
welkinzh 2018-03-13 18:14:23 +08:00 1
五楼的方法是对的，不过如果处理 token 的 js 比较恶心的话就很麻烦，想简单就用 PhantomJS
|
 |
7
locoz 2018-03-13 21:36:56 +08:00 via Android
逆向自己实现加密 /抠 js 加密部分出来运行 /模拟浏览器
|
 |
8
fsdman1216 2018-03-14 10:18:56 +08:00
selenium + webdriver
|
 |
9
noqwerty 2018-03-15 03:11:42 +08:00 via iPhone
requests-html 了解一下
|
 |
10
wc110302 2019-03-14 18:12:21 +08:00 1
https://blog.csdn.net/qq_39802740/article/details/88557981 我最近写了个爬虫~ 好像就是这个 icgoo 的 哈哈 不过是 366 天前的了
|
Select Language