V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Ewig
V2EX  ›  Python

scrapy 404

  •  
  •   Ewig · 2019-01-05 14:12:33 +08:00 · 2496 次点击
    这是一个创建于 2153 天前的主题,其中的信息可能已经有所发展或是发生改变。
    2019-01-05 14:04:50 [csrc][scrapy.core.engine] DEBUG: Crawled (404) <GET http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340238.htm> (referer: http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index_16.html)
    2019-01-05 14:04:51 [csrc][scrapy.spidermiddlewares.httperror] INFO: Ignoring response <404 http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340238.htm>: HTTP status code is not handled or not allowed

    抓取 网址的时候 报 404,很多都没有问题,就是个别的出现 404 这是为啥?

    网址:
    http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index.html
    6 条回复    2019-01-05 19:56:17 +08:00
    InternetExplorer
        1
    InternetExplorer  
       2019-01-05 14:19:13 +08:00 via Android   ❤️ 1
    别爬了,要被抓起来吃牢饭的
    PulpFunction
        2
    PulpFunction  
       2019-01-05 15:03:00 +08:00
    在线 debug …
    whoami9894
        3
    whoami9894  
       2019-01-05 15:09:33 +08:00 via Android
    论坛在线发贴 debug
    liuxu
        4
    liuxu  
       2019-01-05 15:14:04 +08:00
    测试了一下没有啊。。。
    2019-01-05 15:13:20 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340238.htm> (referer: None)
    j0hnj
        5
    j0hnj  
       2019-01-05 18:29:37 +08:00   ❤️ 1
    真·在线 debug
    lsido
        6
    lsido  
       2019-01-05 19:56:17 +08:00 via iPhone
    你也是厉害,花钱请个人不比你问的强??
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1034 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 20:01 · PVG 04:01 · LAX 12:01 · JFK 15:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.