alaikis 最近的时间轴更新 alaikis 最近的时间轴更新 |
alaikisV2EX 第 415041 号会员，加入于 2019-05-23 18:40:59 +08:00 |
| 是否可以申请我们的软件基金会
1 计算机 • alaikis • 141 天前 • 最后回复来自 alaikis
|
3 |
alaikis 最近回复了
105 天前 回复了 MrMike 创建的主题 › Python › 请教下用 scrapy 如何抓 1688 上的商品数据呢？ |
记得加一下代理 IP，一家换两三个就可以了，就是不知道你们的采集量
105 天前 回复了 MrMike 创建的主题 › Python › 请教下用 scrapy 如何抓 1688 上的商品数据呢？ |
不需要接口呀，就在 JS 里面，直接正则解析一下就好，我们原来 1688 上亿的采集都是这样操作的，直接 selenium 加谷歌浏览器就 OK 了
105 天前 回复了 MrMike 创建的主题 › Python › 请教下用 scrapy 如何抓 1688 上的商品数据呢？ |
你把 www 改成 m 就是详情页的手机版，分页的话，只采购地址是比较简单的
105 天前 回复了 MrMike 创建的主题 › Python › 请教下用 scrapy 如何抓 1688 上的商品数据呢？ |
直接解决 JS，里面直接 JSON 就可以，最好的方法是采购手机版，手机版反爬没那么严重，另外，可以申请采购接品，直接拉取也可以。
120 天前 回复了 yamedie 创建的主题 › 程序员 › 前同事把 jwt token 存在 sql 里，做法是不是有问题？ |
存数据库没问题，传用户 ID 没必要吧
120 天前 回复了 Wh0amis 创建的主题 › Python › 爬取上千个不同类型的网站中的文章，大佬们有没有啥解决思路？ |
就这几个字段，无法就是一个分页方式，一个 xpath 的解析规则，然后用一个表存一下规则就好了
141 天前 回复了 alaikis 创建的主题 › 计算机 › 是否可以申请我们的软件基金会 |
@shoaly 不好意思，以为没有人回复就没管了，我一直喜欢 apache 的动作机制，而且 apache 在现代互联网的贡献真的很大，中国的开源势力一直不行，可能跟没有这类的组织也有关，上次刚好在民政部看到申请全国性公益组织的要求就是 50 人的最低成员要求以及固定场地，加之爱国了一把，哈哈
141 天前 回复了 surfire91 创建的主题 › Python › 媳妇去面试，被问“ Python 的三要素是啥” |
一般很少人考这个吧，我使用 python 快十年了都没注意到这个，还是百度了一下才知道是 id,type,value
Select Language