求微博历史数据

[Pore]

本人小硕， 想用最近比较热的大数据呀语义分析写个论文混毕业。 略懂计算机皮毛， 自己扒微博历史数据这个对我来说操作性太强。 有没有程序员有相关数据可以提供？ 或者可实施的解决方案可以提供？

鄙人将感激不尽，可送出闲置 Nexus 6. 其他形式有偿也可以的。谢谢！

[Pore]

刚才盘点了一下身边的东西，可送出以下产品。
1. 闲置 Nexus 6
2. 闲置 iPhone 5s （有锁，就当 iPod 玩儿吧）
3. Office 365 半年以上有效期的分享（ 2018/07/20 过期）

[zchlwj]

微博数据没有，但是有一份其他的数据，希望对楼主有帮助
http://note.youdao.com/noteshare?id=2934610dc48391b0b5d09a0025474124&sub=756DBC0FAF1B4510B37E9BA4FF84C9E1

[p2pCoder]

你这需求不够清楚

[fishdoubleearly]

同求！可赠送北展演出门票一张~

[wibile]

具体要啥数据？哪方面的？

[Pore]

@p2pCoder 2014~2016 年的微博数据，包含用户名，时间，微博文就可以了。

[tisboy]

具体微博什么数据?

[Pore]

@wibile 2014~2016 年的微博数据，包含用户名，时间，微博文就可以了。没有做过相关的东西，暂时想到这么多。

[Pore]

@fishdoubleearly 可以搞一个众筹咧，哈哈。

[Pore]

@tisboy 2014~2016 年的微博数据，包含用户名，时间，微博文就可以了。越全约好。

[linuxchild]

应该挺大的数据了。。一般人没有，可以尝试联系一下微博？

[wibile]

额，数据量太大，帮不了了。。。。估计得几百 T 不止吧。。。数据细化点，我还能帮忙爬一下。

[PythonKGB]

你居然想要两年期间的微博用户的昵称 id 和所有的博文数据？

首先你比公安局网信办还牛逼，

其次你真没这么大的硬盘，

最后你这硕士读的不光没学习，大数据的含义范畴都没搞懂

白玩儿。

[Pore]

@PythonKGB 前两年确实看到有人这么做了，他还提供原始数据，主要是现在找不到那文章的链接了。

[BangBang]

啊，我之前上铺毕业论文也是这个哇，不过他是写爬虫自己爬的哇，估摸着有 2kw 条够你做毕业设计的吧？

结论：找个（自己写个）爬虫爬。

[Pore]

@BangBang 个人技术不是太行阿。听说现在微博封的比较紧，爬虫可行吗？

[golmic]

楼主可以先找其他人试试，实在不行了加我微信 lujqme 可以帮你爬，数据量看硬盘大小了。

[mamtou]

http://open.weibo.com/wiki/Business_API%E6%96%87%E6%A1%A3 楼主看下这个 API

[awolfly9]

微博数据，没有。但是有汽车之家所有口碑的语料数据。

[TimePPT]

这数据除了微博自己有全量，其他公司或个人根本不可能有，要全爬取了早被告了。
微博之前就告过多家商业公司。

真想取到，正规途径就是以科研名义找微博合作，但一般个人科研项目估计没戏，之前微博跟几家高校有过合作，但数据也不是全量给，现在还有没有合作不清楚。

非正规途径就是找爬过的公司和个人要或者买，商业公司有哪些有数据我不清楚。个人的话，亚二爬梁斌（微博 @梁斌 penny )那肯定有大量数据，但也不可能是全量，且人理不理你另说。


话说回来，你真就仅仅是写论文，难道不应该是抽样数据研究就行了么，干嘛要全量。或者考虑换个方向数据也好找啊，比如新闻什么的

[Pore]

@TimePPT 您这说的确实在理，还是随机抽取数据量靠谱。不需要贪大贪全。我再好好考虑。

[delogn]

http://vis.pku.edu.cn/weibova/index.html 类似这样的呢?

[cucldk]

我有，前几年爬的抽样数据，肯定不可能是全量，但绝对足够一般写论文用的了，甚至我自己都不知道怎么处理这么大量的数据了，目前只是存着放着，放着……

[lrigi]

@TimePPT 实验室确实有微博的数据，微博给的，量不知道我没接触

[qq316107934]

@Pore 我只爬过某个城市 2014/2017 年 5 月份的数据，就已经几十 GB 了...

[Pore]

@cucldk 我可以跟你私聊吗

[cucldk]

@Pore 留个联系方式吧 没找到怎么站内信……

[Pore]

@cucldk http://scr.im/meditator
many thx ！