V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Qiangyuan
V2EX  ›  问与答

如何爬取一个人所有的微博?

  •  1
     
  •   Qiangyuan · 2016-09-05 22:40:11 +08:00 · 10392 次点击
    这是一个创建于 2993 天前的主题,其中的信息可能已经有所发展或是发生改变。

    在只知道用户名的情况下,抓取这个用户名下的所有的微博

    14 条回复    2016-09-13 21:53:18 +08:00
    Hello1995
        1
    Hello1995  
       2016-09-05 22:42:31 +08:00 via iPhone
    可以换个思路,去爬微博档案, 233
    herozzm
        2
    herozzm  
       2016-09-05 22:55:41 +08:00 via Android
    注册用户关注他,让爬虫模拟登录后爬起来
    UnisandK
        3
    UnisandK  
       2016-09-05 23:14:40 +08:00
    记得是不是翻不到那么后面,接口也有限制
    ooh
        4
    ooh  
       2016-09-05 23:44:21 +08:00
    如果只是一个人的话 lz 可以看看我以前的笔记 [点我]( http://blog.jjyy.me/2015/10/11/weibo-text-analysis/),自己改一下应该很快

    登陆已经坏了,现在都带验证码了, cookiejar 你得先在浏览器里面登陆获取到 weibo.cn 域下面的 cookie ,只需要 SCF SUB 这俩个就可以了

    ![]( )

    我自己跑了一下,目前几百页还没触发限制条件

    ![]( )
    slysly759
        5
    slysly759  
       2016-09-06 12:04:28 +08:00 via Android
    我原来写过,只需呀 UID 就行了,然后可以爬取全部微博, text 和图片是分开放的
    macwhirr
        6
    macwhirr  
       2016-09-06 17:19:24 +08:00
    很简单。
    Qiangyuan
        7
    Qiangyuan  
    OP
       2016-09-07 21:14:08 +08:00
    @ooh 看不懂,验证码怎么弄?
    Qiangyuan
        8
    Qiangyuan  
    OP
       2016-09-07 21:18:24 +08:00
    @slysly759 可以分享出来吗?
    Qiangyuan
        9
    Qiangyuan  
    OP
       2016-09-07 21:19:05 +08:00
    @macwhirr 请教如何做?表示不懂
    Qiangyuan
        10
    Qiangyuan  
    OP
       2016-09-07 21:20:03 +08:00
    @ooh
    root@johnnyding-Inspiron-3437:/home/johnnyding/文档 /2017-interview/test# python test.py
    Traceback (most recent call last):
    File "test.py", line 19, in <module>
    main()
    File "test.py", line 13, in main
    data = w.get_info(url)
    File "/home/johnnyding/文档 /2017-interview/test/weibo.py", line 102, in get_info
    data['page'] = int(soup.find('input', {'name': 'mp'}).get('value'))
    AttributeError: 'NoneType' object has no attribute 'get'
    这个错是什么?
    ooh
        11
    ooh  
       2016-09-07 23:30:46 +08:00
    @Qiangyuan 这个错就是因为没登陆成功,你是在没登陆情况访问的那个页面,快速解决方法我上面已经给出了,你先在浏览器里面登陆,拿到 weibo.cn 域下面的 cookie ,然后手动写入到 cookiejar 文件里面,只要 SCF SUB 这两个就可以
    macwhirr
        12
    macwhirr  
       2016-09-08 14:53:25 +08:00
    @Qiangyuan 接口
    slysly759
        13
    slysly759  
       2016-09-13 09:58:50 +08:00
    @Qiangyuan 哈哈 可以啊~
    https://github.com/songluyi/slylearnpython
    在里面有,记得把 cookie 换掉 一个 cookie 一般持续 20 分钟的样子 你用 weibo.cn 的获取登陆页 cookie 就行,如果好用麻烦点个赞蛤~写的通俗易懂
    Qiangyuan
        14
    Qiangyuan  
    OP
       2016-09-13 21:53:18 +08:00
    @slysly759 谢谢!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2871 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 02:48 · PVG 10:48 · LAX 18:48 · JFK 21:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.