V2EX › andrewrong 的所有回复 › 第 3 页 / 共 3 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3

❮

❯

2015-04-05 12:00:03 +08:00

回复了 raikecody 创建的主题 › MacBook Pro › 做开发有多大必要上 16g 的 MBP？ 8g 是否可行？

16G的吧...

2014-12-23 22:25:35 +08:00

回复了 andrewrong 创建的主题 › 程序员 › 要实现高效的爬虫，大家能给点建议不？

@benjiam 现在考虑的最多的也就是这个问题....

2014-12-23 09:20:26 +08:00

回复了 andrewrong 创建的主题 › 程序员 › 要实现高效的爬虫，大家能给点建议不？

@binux 谢谢binux那么详细的回答，给了我那么多的建议；我会去思考你说的这些的方面的...其实代理IP可以申请，但是我也要最大化每一个代理IP的利用率...

2014-12-22 19:50:17 +08:00

回复了 andrewrong 创建的主题 › 程序员 › 要实现高效的爬虫，大家能给点建议不？

@GeekGao 这个就要看taobao店的反爬机制来定了...哎...好纠结哇...

2014-12-22 19:33:01 +08:00

回复了 andrewrong 创建的主题 › 程序员 › 要实现高效的爬虫，大家能给点建议不？

@GeekGao 你说的爬虫调度策略具体指什么？

2014-12-22 19:31:07 +08:00

回复了 andrewrong 创建的主题 › 程序员 › 要实现高效的爬虫，大家能给点建议不？

@haker 是公司，用拨号换IP可行吗？我在google的时候也有人提出，我不是很理解这个概念，是不是重新拨号IP就会换这个意思？

2014-12-22 19:27:46 +08:00

回复了 andrewrong 创建的主题 › 程序员 › 要实现高效的爬虫，大家能给点建议不？

@mringg 目前我们测试发现爬取一个商品基本上要花3s，如果代理IP比较好的话就比较快；3s基本算是一个平均值；最后爬取的页面通过正则把要的内容取出然后存入数据库；现在是单进程所以代理IP还没充分的利用起来;

2014-11-29 14:32:25 +08:00

回复了 esplendo 创建的主题 › 推广 › 有你，真好！ Think In Cloud 感恩抽奖活动（截止日期： 12.3）

2014-10-25 09:24:17 +08:00

回复了 devon 创建的主题 › iPhone › 免费获取 Camera+ 软件

要ios8 才能支持吗？我下载的时候就提示我了~~

2014-10-20 22:02:52 +08:00

回复了 niuer 创建的主题 › 云计算 › 七牛三周年嘉年华感恩有你

2014-06-19 13:18:47 +08:00

回复了 hayeah 创建的主题 › 程序员 › [NodeJS 训练 2 个名额免费送] （原价 690 元！）

微博已转发 [email protected]

2014-05-22 20:50:41 +08:00

回复了 wovfeng 创建的主题 › 程序员 › 做个小调查：你们公司现在用的什么代码管理工具

之前是svn，现在慢慢在转git，公司还是比较推荐使用git的;

2014-05-03 21:36:24 +08:00

回复了 artwalk 创建的主题 › 程序员 › 小伙伴们，杭州有哪些你感觉靠谱的公司啊？

@sobigfish 这个，还是不要考虑妹子好了....

2014-04-12 20:40:58 +08:00

回复了 jerryge 创建的主题 › Node.js › 抓取淘宝店铺商品

公司之前是使用淘宝API的，但是后来淘宝封了，现在的话是自己写爬虫爬，但是为了防止淘宝识别就通过代理（VPN）进行爬，这样就可以防止淘宝探测到...你的现象比较像被淘宝检测出然后进行限制了..当然是我的猜测...不是很懂

2014-03-01 23:11:03 +08:00

回复了 psnail 创建的主题 › 程序员 › 百度运维开发的前辈们

@linzhi 。。。

2014-01-05 21:58:47 +08:00

回复了 bearzx 创建的主题 › macOS › 大家有没有觉得OSX下面的chrome好卡？

完全没有感觉到。。。。

1 2 3

❮

❯