首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Nillouise  ›  全部回复第 8 页 / 共 8 页
回复总数  157
1  2  3  4  5  6  7  8  
❮ ❯
2020-10-16 16:05:23 +08:00
回复了 Nillouise 创建的主题 › Python › 不使用数据库，直接存储爬虫爬到的数据到文件有什么最佳实践？
调查了一下，sqlite 的内存使用量似乎真的可以做到几 MB，RocksDB 和 Imdb 这类嵌入式数据库应该也能差不多，符合要求，看来是我小看了嵌入式数据库的轻量级了，但用起来还是麻烦，而且有些还是 jar 程序，pass 了。

用日志的话，似乎要找一下能压缩日志文件的方法，这条路应该比较好，先按这个做了吧。
2020-10-16 15:46:21 +08:00
回复了 Nillouise 创建的主题 › Python › 不使用数据库，直接存储爬虫爬到的数据到文件有什么最佳实践？
@shoaly 有过这个想法，感觉这事最靠谱的一条路
2020-09-16 13:39:01 +08:00
回复了 Nillouise 创建的主题 › NAS › 虚拟机装 FreeNas 怎么设计硬盘挂载好？
@fatelight 那不错，周末我试试
2020-09-15 17:14:18 +08:00
回复了 Morriaty 创建的主题 › 程序员 › 在线场景下，对于大量 ID 进行筛选过滤的最佳技术方案是什么？
这种过滤在应用服务器上做不就行了吗，一次从数据库把 1000 个 id 相关的信息全部提取出来，用 habse 之类应该没啥问题把。这种需求分布式系统要做到线性增加吞吐量有何难点？我学过一点分布式，但没实践过，希望有大佬说明一下。
2020-09-15 15:19:56 +08:00
回复了 Morriaty 创建的主题 › 程序员 › 在线场景下，对于大量 ID 进行筛选过滤的最佳技术方案是什么？
@Nillouise 因为用户屏蔽之后可能会解除屏蔽
2020-09-15 15:17:54 +08:00
回复了 Morriaty 创建的主题 › 程序员 › 在线场景下，对于大量 ID 进行筛选过滤的最佳技术方案是什么？
我理解了，你是每次查询的时时候要把 1000 个 id 拿去给 elasticsearch 查。但这里做一个分布式查询不是很简单吗？ id 为 1 就只查第一台机器，id 为 2 就查第二台机器。布隆过滤器应该很难处理用户屏蔽这种功能。
2020-09-15 13:46:12 +08:00
回复了 Nillouise 创建的主题 › NAS › 虚拟机装 FreeNas 怎么设计硬盘挂载好？
@tsanie 多谢。
有些功能的解决方案确实可以用其他来做而不是 nas，但可能完整的 nas 才能做得比较好，比如 nextcloud 之类并没有 window 服务器版，所以我想着完整装个 nas 虚拟机，用他内置的功能可能会比较方便。反正我在家都会开电脑，这时才会用 nas，在夜里运行的 nas 对我来说也没啥用。
你说的哪几个软件我之后也查查看，谢谢。
2020-09-15 13:11:40 +08:00
回复了 Nillouise 创建的主题 › NAS › 虚拟机装 FreeNas 怎么设计硬盘挂载好？
@zlylong 只能说我用了很多虚拟机，他们并没有你说的那样可靠，而且网游会检查你运行的是不是虚拟机，我不知道你是不是已经这么只用 pve 装 win10，但对我来说，是不会这么折腾让平时用的 win10 跑在 pve 上。

pve 我也有装，确实有用，但目前我试过跑那些普通的程序，并没有试过运行游戏。
2020-09-15 11:56:55 +08:00
回复了 lauyukit 创建的主题 › 程序员 › 当字段较多且经常需要新增字段时，用 JSON 代替 POJO 是否更加合适？
用 map 存储说明你不会使用该字段进行逻辑处理，那么存在数据库的 json 字段应该是可以的。

涉及逻辑处理你当然得用一个 field 存储（数据库中需不要单独字段另说），多定义一个 pojo 不是什么大问题，因为不同得的逻辑层需要不同样的 vo 是很正常的。
2020-09-15 11:45:17 +08:00
回复了 alexmao 创建的主题 › 程序员 › 有没有通用型的注册登录模块
没有人用 keycloak 吗？虽然我目前只用了比较简单的功能。
2020-09-15 11:39:59 +08:00
回复了 Morriaty 创建的主题 › 程序员 › 在线场景下，对于大量 ID 进行筛选过滤的最佳技术方案是什么？
虽然不了解这个场景，但没看明白难点是什么？几千个商品放在内存里处理不就行了吗？还是每个用户的推荐商品都不一样，要实时处理每个用户*1000 个商品的数量？
2020-09-15 11:10:44 +08:00
回复了 Nillouise 创建的主题 › NAS › 虚拟机装 FreeNas 怎么设计硬盘挂载好？
@zlylong 多谢，但工作日常机我不会这么搞，什么 android 模拟器呀，游戏呀，都需要实机是 window
2020-09-15 10:53:10 +08:00
回复了 Nillouise 创建的主题 › NAS › 虚拟机装 FreeNas 怎么设计硬盘挂载好？
@sarices 做 nas 的目的还能是啥？同步各个终端的文件呀，建立统一的视频服务器之类呀，跟正常的群晖一样使
2020-09-15 10:45:55 +08:00
回复了 Nillouise 创建的主题 › NAS › 虚拟机装 FreeNas 怎么设计硬盘挂载好？
@zlylong 这是我的日常用机，有显卡的，装在 vmware 的 win10 都会有点丢帧，更不用提 pve 。。


@Ariver 我用的是 freenas 页面上的硬盘管理设置，应该不需要 ssh 进去用 fstab 搞吧。
2020-09-15 10:43:30 +08:00
回复了 Nillouise 创建的主题 › NAS › 虚拟机装 FreeNas 怎么设计硬盘挂载好？
@fatelight 可靠性如何？删掉黑群晖，再重建一个新的，直通的硬盘还能继续用吗？
2020-09-15 08:10:31 +08:00
回复了 Nillouise 创建的主题 › NAS › 虚拟机装 FreeNas 怎么设计硬盘挂载好？
因为我不想额外买个 nas，看看这种办法的可行性，如果缺点很多那我也就只能买个群晖
2019-05-26 22:09:48 +08:00
回复了 Nillouise 创建的主题 › Python › Python 下还有实现 restart（common lisp 的 Condition System）特性的包吗？
看了下 tenacity，retry，差很远呀，这个只是单纯的重试，而不是改良的错误处理机制。
我需要的是抛出异常后，能继续执行下一句的库，比如
try:
a = 1/0
print("also run to here")
except:
pass
前一句抛出异常后，仍然能执行下一句的机制。
1  2  3  4  5  6  7  8  
❮ ❯
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2274 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 18ms · UTC 16:07 · PVG 00:07 · LAX 08:07 · JFK 11:07
Developed with CodeLauncher
♥ Do have faith in what you're doing.