V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  mosliu  ›  全部回复第 40 页 / 共 109 页
回复总数  2180
1 ... 36  37  38  39  40  41  42  43  44  45 ... 109  
2021-03-19 16:03:55 +08:00
回复了 LeroyMooney 创建的主题 程序员 新来的外包同事,这代码,我???
这个就不错了。在代码编译的时候应该会优化掉。 扩展性十足。不影响效率。

爆一个前同事,自己号称当年高考数学满分的硕士写的代码

使用 ES 。ES 库每个月也就 1,2T,数据量也不是太大。每条数据有多个现成的相似字段,相似数据条数从没有到几十万都有可能。单条数据量从 1k 到上百 k 都有。每条数据有时间戳字段,这是大环境

需求是,比对一条数据是不是类似数据最早的,返回一个 bool 值。这位的做法是按相似值字段,从 ES 中取出 10000 条不做排序数据的所有的字段到内存中,按照日期字段的字符串直接比较得出结果。

幸亏了他前面程序的一个判断出了 bug (功能故障没被测出来) 这段代码基本上跑不到,不然一次从 ES 拉取取几十 M 的数据做比较。那画面想想真醉了。前两天直接功能全部重写掉才舒心了。
2021-03-02 22:12:29 +08:00
回复了 nery 创建的主题 程序员 两个项目同时进行,大家能多线程操作吗
并发呗。
看你的数据 id 有多稀疏
不是太稀疏的话
先获取 3*稀疏倍数*2 个随机数 记为 idlist1
然后按 id in idlist1 limit 30 取 架设取出 n 个
然后不够的 再按缺少数量 取随机数 rand 循环( 30-n )次 {取 id>rand and not in (已取) limit 1}
2021-02-18 16:03:15 +08:00
回复了 rakuking 创建的主题 问与答 大家今天开工了吗?有没有开工红包
None
1 ... 36  37  38  39  40  41  42  43  44  45 ... 109  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5741 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 52ms · UTC 02:28 · PVG 10:28 · LAX 19:28 · JFK 22:28
Developed with CodeLauncher
♥ Do have faith in what you're doing.