这是一个创建于 3461 天前的主题，其中的信息可能已经有所发展或是发生改变。
有个项目，需求是抓取http://epub.sipo.gov.cn/ 这个网站的全部公布的信息，根据我的经验，1小时抓取1万条网页，那全站的数据需要2个月不停才能抓完，而且存储这些数据需要很多的存储空间（因为有PDF所以共15T左右），如果租用阿里云服务器进行抓取的话，硬盘价格巨贵。那么问题来了，该项目报价3K。是否合理？
 |
1
publicID001 2015-05-29 18:49:31 +08:00
3K是开发和调试爬虫的费用吧？
|
 |
2
wenxiuzh 2015-05-30 00:44:46 +08:00
坑在验证码上， 如果发现爬虫就会出现验证码，爬虫识别不出验证码内容就卡在那里了，这种情况下1个小时1000条都困难，3k不多
|
 |
3
ansel 2015-05-30 09:45:50 +08:00
难道是广州的？最近有在接触这个类似的项目，整个系统也会需要用到你说的爬虫
|
 |
4
david500834 2015-05-31 09:09:18 +08:00
3k开什么玩笑......骗大学生呢
|
 |
5
professorz OP @publicID001 嗯，说是硬件费用另算
|
|
6
professorz OP @david500834 唔。。也是觉得有点少
|
 |
7
dai269619118 2015-05-31 16:31:07 +08:00
呵呵 就出3000 硬件也初步了多少钱
|
 |
8
22too 2015-05-31 20:08:17 +08:00
还不如你知直接打电话给那个公司，让给你拷贝一份算了，这玩意写程序爬到什么时候了，能动嘴就不要写代码
|
|
9
professorz OP @22too 我问过提需求的人，他说买不起，要买得起不会爬的。那是他老东家，政府机构。
|
 |
10
dallaslu 2015-06-02 19:11:03 +08:00
版权所有：国家知识产权局（未经许可不得复制）
|
 |
11
chinabrowser 2015-06-10 00:36:10 +08:00 via Android
反向代理解决问题 需要资源的时候再去抓
|
Select Language