推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
写 Scrapy 爬虫时，遇到了 js 进行跳转的页面，大家有没有好的解决方法
wylwang · 2018-09-04 09:33:52 +08:00 · 8361 次点击这是一个创建于 2275 天前的主题，其中的信息可能已经有所发展或是发生改变。
请求时返回的相应内容是这样：
<html><head></head><body><script>window.location.href='https://XXX.xxx.com/';</script></body></html>
之前使用过 selenium 抓数据，但是效率太低，所以想请问一下大家有没有好的办法，在 scrapy 框架里拿到正常响应的请求
<html><head></head><body><script>window.location.href='https://XXX.xxx.com/';</script></body></html>
之前使用过 selenium 抓数据，但是效率太低，所以想请问一下大家有没有好的办法，在 scrapy 框架里拿到正常响应的请求
第 1 条附言 · 2018-09-04 10:07:26 +08:00
忘了说，返回的 href 内容和请求的 url 是同一个，如果顺着 href 继续爬，会无限循环这个响应
第 2 条附言 · 2018-09-04 11:27:42 +08:00
这个问题解决了，跟五楼朋友说的一样，确实是因为没有带 cookie 触发了 js 跳转，带上 cookie 已经可以成功访问了，谢谢各位
 |
1
locusxt 2018-09-04 09:35:27 +08:00 via Android
顺着这个 href 接着爬就可以了
|
 |
2
toono 2018-09-04 09:35:35 +08:00
我之前的做法就是分析他们的 API
|
 |
3
wylwang OP 这个问题已经困了我一周，查了挺多资料，还是没办法，求大佬支招
|
 |
4
whwq2012 2018-09-04 09:38:28 +08:00 via Android
if 返回码＝＝ 3xx 跟着跳转
|
 |
5
bmos 2018-09-04 09:39:55 +08:00
首先和 1 楼说的，顺着 href 爬。
不行的话看看是不是需要 cookie，我之前提问过，有的网站需要判断 cookie 值，没有的话，就会要求 js 跳转，有 cookie 就可以直接访问。 还有其他措施，要具体分析 |
 |
6
crazycabbage 2018-09-04 09:43:07 +08:00 via iPhone
返回链接继续爬，遇到 js 生成页面用 splash，不要用 selenium
|
 |
7
uwh0am1 2018-09-04 09:46:29 +08:00
splash 把，使用 qt 中的 webview 加载页面，可以运行页面中的 js 代码，使用简单
|
 |
9
encro 2018-09-04 09:58:43 +08:00
如果只是这个，正则匹配下 url 继续爬啊
|
|
11
wylwang OP @uwh0am1 splash 我也考虑过，我的需求是请求索引页-->详情页-->详情页里的某个 href 字段共三级页面，实现起来比较麻烦
|
 |
12
huaerxiela 2018-09-04 10:50:19 +08:00
既然是无限循环的情况，可能是服务器验证有问题，要么你代码请求不规范，要么就是被反爬拦截了，排除代码问题后，着重看 cookie 变化或者 js 加密参数的情况
|
 |
13
frankyxu 2018-09-04 10:52:58 +08:00
5 楼说的有道理，可能是你没带 cookie 访问，我最近刚好也遇到了这个问题，带上 cookie 就好了
|
|
15
wylwang OP @huaerxiela 是的，是因为没带 cookie，已经解决了，:)
|
 |
16
testsec 2018-09-04 12:46:36 +08:00 via iPhone
一般这种是要带上 cookie 去访问的
|
 |
17
hjzkenan 2018-09-04 17:29:26 +08:00
啥网站呀，贴出来看看？
|
|
18
wylwang OP |
 |
20
yangyaofei 2018-09-25 15:47:51 +08:00
@wylwang 同样这个网站出这个问题,我发现直接用 requests 就可以...所以....这是为啥...
|
Select Language