V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
solesschong
V2EX  ›  外包

高价求微信公众号爬虫

  •  
  •   solesschong · 2015-07-28 15:56:51 +08:00 · 1617 次点击
    这是一个创建于 3408 天前的主题,其中的信息可能已经有所发展或是发生改变。

    公司想搞一个微信爬虫,爬公众号文章以及点赞数。

    已经看到了许多实现的案例,他们都能爬取各种公众号的文章阅读以及点赞数。

    datastory.cn
    weizhishu.com
    fxbiao.net
    

    要求

    1. 爬出任意公众号的文章内容,阅读量,点赞数
    2. 系统扩展性强
    3. 系统性能高
    4. 短时间内不会被封,渠道稳定
    33 条回复    2015-08-12 22:57:31 +08:00
    deben
        1
    deben  
       2015-07-28 16:03:57 +08:00
    只做过抓文章的……点赞和阅读没有弄
    ps 公众号文章现在做防盗链了,要自己弄图床
    fising
        2
    fising  
       2015-07-28 16:07:11 +08:00
    他这都是从搜狗抓取的
    deben
        3
    deben  
       2015-07-28 16:08:22 +08:00
    @fising 搜狗抓会干掉IP,之前有试过
    fising
        4
    fising  
       2015-07-28 16:14:03 +08:00
    @deben 移动网 IP 也能干吗?
    IFoon
        5
    IFoon  
       2015-07-28 16:16:52 +08:00
    顶你一下,顺便mark,看有没有高手。
    1oscar
        6
    1oscar  
       2015-07-28 16:19:09 +08:00
    没有联系方式,怎么联系你
    imlonghao
        7
    imlonghao  
       2015-07-28 16:25:45 +08:00 via Android
    有兴趣,想试试,但是不知道会遇到什么坑。
    爬过v2ex

    Telegram, imlonghao
    ljcarsenal
        8
    ljcarsenal  
       2015-07-28 16:25:57 +08:00
    fxbiao.net 爬虫部分是我做的 当然当时代码写得比较挫。你们要做的话,需要进行重构。可以联系下
    solesschong
        9
    solesschong  
    OP
       2015-07-28 16:32:54 +08:00
    @ljcarsenal 你的是带阅读量的,这个比较少见,希望联系一下。价格好商量。能给一下微信号吗?谢谢
    solesschong
        10
    solesschong  
    OP
       2015-07-28 16:33:21 +08:00
    @fising 不都是从搜狗爬的。
    @1oscar 请你提供一下微信号,谢谢。
    solesschong
        11
    solesschong  
    OP
       2015-07-28 16:33:43 +08:00
    @imlonghao 坑特别多啊。你试试看。
    Moker
        12
    Moker  
       2015-07-28 16:38:05 +08:00
    推荐下pyspider
    zenxds
        13
    zenxds  
       2015-07-28 16:42:09 +08:00
    最近通过搜狗抓公众号文章内容,点赞数跟阅读数现在好像没有,有兴趣的话联系我
    mcone
        14
    mcone  
       2015-07-28 16:48:30 +08:00
    之前做过**通过搜狗**抓微信的东西,比较简单,有时会会挂,就不出来献丑了……

    悄悄说一句,可能是由于微信的特点,似乎用蜂窝网络的ip好一些(个人经验,不知道对错)
    ljcarsenal
        15
    ljcarsenal  
       2015-07-28 17:03:58 +08:00
    @solesschong 我现在在公司 网络限制 上网不太方便,我晚上联系你吧?
    xujif
        16
    xujif  
       2015-07-28 17:34:22 +08:00
    搜狗爬文章,无需代理,稳定可靠,现在已经运行3个月。 点赞数可以用51tools接口获得,需要联系我
    八195八517
    macken
        17
    macken  
       2015-07-28 18:11:31 +08:00
    我一个朋友专门做微信公共帐号文章的抓取工作,每天100w的抓取量,包括阅读数、点赞数
    solesschong
        18
    solesschong  
    OP
       2015-07-28 20:00:38 +08:00
    @macken 求联系方式,谢谢
    @xujif 已经加好友
    xujif
        19
    xujif  
       2015-07-28 21:22:06 +08:00 via iPhone
    @solesschong 没收到,你的QQ?
    shooter
        20
    shooter  
       2015-07-28 22:35:12 +08:00
    防盗链可以规避, 可以不用自己做图床

    做过类似的东西, 通过搜狗接口, 爬取文章内容

    我感觉 http://chuansong.me/ 的文章很全, 不受搜狗 api 的限制

    可以加 telegram 联系
    macken
        21
    macken  
       2015-07-29 10:08:52 +08:00
    @solesschong id就是微信号
    sciooga
        22
    sciooga  
       2015-07-30 19:51:39 +08:00
    @1oscar
    @imlonghao
    @ljcarsenal
    @zenxds
    @xujif
    @shooter
    @macken

    是这样的,我现在在爬 V2EX 分析出一些有意思的主题,其中一个主题和楼主有关,贴出来给大家参考一下,请自行判断: /t/184818
    macken
        23
    macken  
       2015-07-30 21:10:24 +08:00
    @sciooga 应了那句话出来话总是要还的,@sciooga 还分析出什么有意思的东西啦 分享下
    sciooga
        24
    sciooga  
       2015-07-30 21:13:22 +08:00
    @macken 目前还是在自己的小圈子分享过段时间再公开,我加你微信先私下聊聊呗~
    muzixinly
        25
    muzixinly  
       2015-08-03 13:06:44 +08:00
    我把自己关注的50来个公众号,定期从搜狗爬取,放到PC上看 ,这么小的量都容易被封,不知道这种爬全站数据的如何抓的哈
    wog
        26
    wog  
       2015-08-03 13:24:22 +08:00
    @muzixinly 不会吧,我抓都没事,你是不是没设置爬虫的UA
    muzixinly
        27
    muzixinly  
       2015-08-03 14:20:25 +08:00
    @wog 有设置ua,而且会随机变换
    solesschong
        28
    solesschong  
    OP
       2015-08-03 15:33:01 +08:00
    @sciooga 那篇帖子严重失实,希望网友有判断能力
    jhdxr
        29
    jhdxr  
       2015-08-04 01:19:02 +08:00
    @solesschong 全是截图,没看出能『失实』的地方,更别提『严重失实』了。看了 http://v2ex.com/t/210465 的话我相信你会发现广大网友还是能有判断能力的
    ncwhale
        30
    ncwhale  
       2015-08-04 01:32:00 +08:00
    敢逐字立合同么喵?
    solesschong
        31
    solesschong  
    OP
       2015-08-04 01:32:48 +08:00
    @muzixinly 从搜狗爬会比较容易被封。但是其他的方法是从微信公众平台爬,看起来不那么容易被封。
    muzixinly
        32
    muzixinly  
       2015-08-05 17:26:14 +08:00
    @solesschong 从微信公众平台如何爬呢?
    nareix
        33
    nareix  
       2015-08-12 22:57:31 +08:00
    请问怎么联系?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3490 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 11:30 · PVG 19:30 · LAX 03:30 · JFK 06:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.