1a1a11a's recent timeline updates 1a1a11a's recent timeline updates |
1a1a11aV2EX member #209800, joined on 2017-01-09 06:42:21 +08:00 |
1a1a11a's recent replies
@Lax 谢谢
@jiangzhuo 谢谢
@v2pro 好东西，学习了
@Lax HLL 是什么，三个字母不太好搜，能不能给个名字？谢谢啦！
@bjlbeyond 好像不太对题？还是我没理解到点？
@wmttom 这个主意不错，非常感谢
@binux 我把去重完的 url 写磁盘了和待爬 url 队列写磁盘了，要不内存不一会儿就满，服务器是前兆带宽，我满载了在爬。。。
@jiangzhuo 哦，对，你的数值错了，是 470 亿，单位是 10 亿，不是 1 亿，所以你的计算要再乘以 10
@jiangzhuo 为什么我 72G 的内存刷刷刷就满了 :(，估计有不少费 url ，加上 python 可能比较费内存，你发的这个网址挺好玩的，不知道为什么中间突然降下去了，我一直觉得网页总数是单调增加的，不过从这个网站看，还挺稳定的。
@samcode 这个可以考虑，谢谢啦。
Select Language