V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Negan
V2EX  ›  Python

如何爬取日本亚马逊的商品数据?

  •  
  •   Negan · 2019-01-04 10:15:24 +08:00 · 3298 次点击
    这是一个创建于 1910 天前的主题,其中的信息可能已经有所发展或是发生改变。
    老大给了个任务要爬日本亚马逊上某类商品的价格以及评论,自己之前都是爬国内的,日本亚马逊现在被墙了,需要怎么样才能爬到数据呢? lantern 连上了然后终端 export https_proxy=localhost:port 也试过了,国外的代理 IP 也试过了,都以失败告终,错误如下:
    requests.exceptions.ProxyError: HTTPSConnectionPool(host='www.amazon.co.jp', port=443): Max retries exceeded with url: /dp/B000UTKMDQ (Caused by ProxyError('Cannot connect to proxy.', ConnectionResetError(104, 'Connection reset by peer')))
    请问一下各位,是怎么爬的? API 还是其他方式?感谢感谢
    12 条回复    2019-01-04 14:10:35 +08:00
    sobigfish
        1
    sobigfish  
       2019-01-04 10:19:31 +08:00
    被墙了就找国外的服务器部署爬呗
    难道你要自己掏钱?
    kanata
        2
    kanata  
       2019-01-04 10:24:32 +08:00
    。。。买台日本服务器呗,对于公司来说一个月也没多少钱
    Negan
        3
    Negan  
    OP
       2019-01-04 10:26:44 +08:00
    @sobigfish 掏钱肯定是老大掏,我就想看看还有没有其他方法能够爬到数据,哈哈,感谢大佬回答
    Negan
        4
    Negan  
    OP
       2019-01-04 10:28:31 +08:00
    @kanata 公司应该有,我想的是能自己解决就自己解决,搞不定再找老大
    vtwoextb
        5
    vtwoextb  
       2019-01-04 10:28:37 +08:00
    买个 linode 不就行了吗 很便宜的
    edsheeran
        6
    edsheeran  
       2019-01-04 11:38:59 +08:00 via iPhone
    姿勢不對
    locoz
        7
    locoz  
       2019-01-04 12:54:47 +08:00
    被墙了的网站你直接用国内的机子连国外代理是不可能爬的。。。要不然帆樯的时候还用得着酸酸之类的东西吗,直接连个代理就完了。
    ctro15547
        8
    ctro15547  
       2019-01-04 12:57:11 +08:00
    几十块一个月随便搞个搬瓦工部署一下唄,对于数据而言这点钱不算啥吧
    gogo2
        9
    gogo2  
       2019-01-04 13:01:16 +08:00
    amazon 不好爬的, 和淘宝一样的,
    testcaoy7
        10
    testcaoy7  
       2019-01-04 13:06:19 +08:00
    其实我一直不明白为什么要墙亚马逊日本
    sobigfish
        11
    sobigfish  
       2019-01-04 13:24:29 +08:00
    @testcaoy7 #10 估计日本文化的东西,但那种东西好像本来就不能出口
    ---
    lz 爬这些肯定不是一次性的,所以代理什么的只能解决几次需求,部署到国外的服务器上一直实时爬才是好的节奏。
    JasperYanky
        12
    JasperYanky  
       2019-01-04 14:10:35 +08:00
    有 api
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3945 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 10:24 · PVG 18:24 · LAX 03:24 · JFK 06:24
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.