V2EX › prasanta 的所有回复 › 第 25 页 / 共 25 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

1 ... 16 17 18 19 20 21 22 23 24 25

❮

❯

2016-08-06 22:20:35 +08:00

现在在公司做 django ＋ mysql 开发，平时喜欢用 scrapy 爬东西，感兴趣的网站内容，统统爬下来。你没说待遇。

2016-07-30 17:11:52 +08:00

24 小时爬的话我选择 16g 内存

2016-07-30 16:58:36 +08:00

我的意思是使用登录后的 cookie 直接访问目标页面就可以了。不需要再考虑登录的问题。

2016-07-30 16:47:41 +08:00

我喜欢直接放到 header 的 cookie 字段里面，字符串格式。

2016-07-30 16:41:41 +08:00

使用 scrapy 的话内存一定要够大！！！！

2016-07-30 16:40:12 +08:00

2016-07-30 16:39:34 +08:00

@Huayx9 cookie 的格式要正确，可以用 http://httpbin.org/cookie 接口来测试你的 cookie

2016-07-30 16:26:53 +08:00

建议直接从浏览器中复制 cookie 放到 requests 请求的 headers 里面。这样就不用去纠结登陆的问题了。

1 ... 16 17 18 19 20 21 22 23 24 25

❮

❯