highkay

highkay

V2EX 第 355 号会员,加入于 2010-05-03 14:16:13 +08:00
今日活跃度排名 23090
highkay 最近回复了
从你的需求看,你需要的不是这种面向微服务的注册和发现的解决方案,因为我推测你的业务架构非常简单,一个主控服务+N 个爬虫 worker ,可能还有一些数据处理的流水线之类的。

那么我推荐的是 https://docs.celeryq.dev/en/stable/ + https://github.com/mher/flower , 可以实现你的爬虫 worker 集群的管理,包含创建,监控和伸缩,还可以用 docker 部署( k8s 集群可以参考 https://www.kubernetes.org.cn/doc-39 ),也挺简单的。
7 天前
回复了 lone6 创建的主题 Python Python 打包 exe 方案
@lone6
1. 用 conda 创建一个新环境(这里主要看你的用户的系统,如果特别老的话,比如 win7 ,那么可能需要 py3.7.x ,不然的话就是用最新的就好了)
2. 只需要 pip install 最少的依赖+pyinstaller
3. 测试运行没问题的话再打包,应该就会比较小了
8 天前
回复了 lone6 创建的主题 Python Python 打包 exe 方案
pyinstaller 的兼容性,尤其是 windows 的是目前所有方案中最好的。至于大的问题是因为你当前的 runtime 下面无关的依赖太多了,似乎也没有按照 requiements 裁剪的能力(我理解这里要考虑一些动态加载的能力,不能完全根据 import 来加载),所以我一般是用 conda 单独维护一个打包环境。
greenfield 规模比较小的时候还是很方便的,brownfield 的项目对人类也是挑战啊,灵活运用 cursorrules 还有 README 技巧可以缓解很多。
8 天前
回复了 galileo1214 创建的主题 程序员 现阶段,最好的 Agent 框架是什么?
两大类,一类是可视化编排的 coze ,dify 的,一类是开发框架的,langchain ,langgraph ,autogen ,crew ,smolagents 等等,后者还分对话式和代码组装,抽象级别啥的,其实最近 anthopic 发的文章是建议用更轻而非更重的框架。
抽奖
讲不清楚真正的具有说服力的优点的基本上说明没啥水平。统一日志(用来做分析)和你用的 log 封装根本没有直接关系,那主要是数据质量问题。
33 天前
回复了 kongkongye 创建的主题 程序员 大家用 windsurf/cursor 开发真实体验如何?
@elevioux 可以用 cusorrules ,有一个 github 开源项目就是分离项目中前后端代码放到不同的 workspace 当中,提升准确性,需要一些人工的调教。
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1092 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 19:07 · PVG 03:07 · LAX 11:07 · JFK 14:07
Developed with CodeLauncher
♥ Do have faith in what you're doing.