V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  tikazyq  ›  全部回复第 24 页 / 共 44 页
回复总数  867
1 ... 20  21  22  23  24  25  26  27  28  29 ... 44  
2020-07-22 22:44:08 +08:00
回复了 dtgxx 创建的主题 MongoDB mongodb 唯一索引重复数据问题请教
@dtgxx 写代码插入肯定没有 native 快,用批量插入可能会快一些
2020-07-22 11:11:15 +08:00
回复了 dtgxx 创建的主题 MongoDB mongodb 唯一索引重复数据问题请教
试一下把组合字段弄成一个组合键放在_id,直接插入就可以了,主键自动去重
2020-07-21 20:00:21 +08:00
回复了 Colorful 创建的主题 Python 关于爬虫几个问题请教
@musi 可以的,加我 wx 咨询吧
2020-07-21 19:42:12 +08:00
回复了 Colorful 创建的主题 Python 关于爬虫几个问题请教
关键词,爬虫管理平台,crawlab 了解一下?加我 wx 拉群咨询,tikazyq1
2020-07-20 21:20:32 +08:00
回复了 amiwrong123 创建的主题 Java 我现在连个三目表达式都看不懂了…
这种代码是确定没有人质疑它的可读性?
2020-07-20 11:20:18 +08:00
回复了 smallgoogle 创建的主题 Python 如何让 scrapy 返回数据?
为啥不用 Crawlab ?不止是 scrapy,连其他语言的爬虫例如 java 、go 、php 都可以管理

https://github.com/crawlab-team/crawlab
不知道楼主做这个直播是为了实现什么目的,如果能解决一个社会问题,我相信你可以走得更远,但目前确实看不到有什么能提现价值的地方
我开源 1 年到现在只收到 5 元人民币打赏
2020-07-17 10:23:51 +08:00
回复了 binggg 创建的主题 程序员 看看有没有获得 Github 「北极开源贡献者」 称号
2020-07-16 22:17:16 +08:00
回复了 Ccxdcyl 创建的主题 程序员 怎么解决 web 前端开发与设计图的偏差?
用尺子量
2020-07-16 17:12:27 +08:00
回复了 zkqiang 创建的主题 Python Crawlab Lite 发布,更轻量的爬虫管理平台
@anzu 只要最后效果不错,用什么都可以,bolt 应该是基于内存的,比 sqlite 更快
2020-07-16 12:52:25 +08:00
回复了 zkqiang 创建的主题 Python Crawlab Lite 发布,更轻量的爬虫管理平台
@xdeng 可以 docker 一键安装
2020-07-16 12:52:00 +08:00
回复了 tikazyq 创建的主题 分享创造 Crawlab Lite 正式发布,更轻量的爬虫管理平台
@chuanqirenwu tikazyq1
2020-07-14 22:21:35 +08:00
回复了 Te11UA 创建的主题 Python 最近爬虫遇到了一个吊诡的事情:更换 virtualenv 环境会导致反爬
上代码
2020-07-13 15:25:35 +08:00
回复了 lwp2070809 创建的主题 程序员 2020.07.13 15:00 Github 部分服务降级
500
2020-07-10 14:33:17 +08:00
回复了 wxsm 创建的主题 程序员 关于容器构建方式优劣的疑惑
一般是 1

如果是 2,可能是针对那种一个容器里跑多个轻量级应用的情况吧
2020-07-10 13:18:05 +08:00
回复了 dtgxx 创建的主题 MongoDB 使用 pymong insert_many 插入数据越来越慢
单机的话,你这个扩展起来问题会很多

几个优化点:
1. 分表( Sharding )
2. 不要创建索引
3. 选择其他技术方案,例如 Hive 、HBase

60 亿条数据,这种量级的数据应该更适合 Hive 或者 HBase 吧,做分布式储存不香么,单点来搞大数据你这不是给自己挖坑么
需要注册服务号,并交 300 元认证
2020-07-06 22:32:25 +08:00
回复了 tikazyq 创建的主题 问与答 云服务器价格为啥都这么贵?几十块的服务器基本没啥用
@wiewiewie 年费确实很贵啊
2020-07-06 22:31:46 +08:00
回复了 tikazyq 创建的主题 问与答 云服务器价格为啥都这么贵?几十块的服务器基本没啥用
@whypool 是不是很坑
1 ... 20  21  22  23  24  25  26  27  28  29 ... 44  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2869 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 39ms · UTC 14:25 · PVG 22:25 · LAX 07:25 · JFK 10:25
Developed with CodeLauncher
♥ Do have faith in what you're doing.