midraos 最近的时间轴更新 midraos 最近的时间轴更新 ONLINE |
midraosV2EX 第 703654 号会员，加入于 2024-08-01 10:50:27 +08:00今日活跃度排名 587 |
| 指挥 AI 做了一个 LLM API 网关 程序员 • midraos • 2 天前 • 最后回复来自 daimaosix | 14 |
| kimi coding plan 三档会员还挺耐用的 程序员 • midraos • 2 天前 • 最后回复来自 asd999cxcx | 11 |
| 如何看待在线笔试中使用 AI 作弊 职场话题 • midraos • 1 月 21 日 • 最后回复来自 kakakakaka8889 | 28 |
| 一个极简的 AI 翻译工具，支持自定义 API 服务商与 prompt 分享创造 • midraos • 2025 年 9 月 24 日 |
midraos 最近回复了
12 小时 39 分钟前 回复了 qize0921 创建的主题 › 程序员 › 2w 预算，请教下装机配置问题 |
@icycola #7 现在不行了，我去年买的 3500 的 96G 皇家戟，现在要 10000
2 天前 回复了 midraos 创建的主题 › 程序员 › 指挥 AI 做了一个 LLM API 网关 |
@beyondstars #9 和市面上的成熟的平台化产品的叙事角度不太一样，我的设计目标是一个轻量化的透明反向代理，服务跑起来后只占用 20M Ram 和 0.5%的 Cpu ，不算是一个完全自嗨的玩具
2 天前 回复了 midraos 创建的主题 › 程序员 › 指挥 AI 做了一个 LLM API 网关 |
@HFX3389 #8 可以看作是 axonhub 这类平台的劣化版，好听点叫轻量化，设计目标就是一个轻量级的透明反向代理，针对 LLM 服务进行了特化定制，确实可以借鉴学习这几个项目中对边界的划分
2 天前 回复了 midraos 创建的主题 › 程序员 › 指挥 AI 做了一个 LLM API 网关 |
@heimoshuiyu #3 解码速度监控和 http 连接复用加进来很不错。
我设计的目标是一个 LLM api 特化的 Nginx 透明代理类型的网关，用于保护与隐藏真实的 apikey ，网关中会拦截 LLM api 中的 apikey 、X-Forwarded-For 和 UA ，其他的都直接进行透传了，所以像重试、首字符超时这些都扔给使用 api 的 client 了；
加入负载均衡可能会导致 LLM 服务商的输入缓存失效，就没做这个功能了
我设计的目标是一个 LLM api 特化的 Nginx 透明代理类型的网关，用于保护与隐藏真实的 apikey ，网关中会拦截 LLM api 中的 apikey 、X-Forwarded-For 和 UA ，其他的都直接进行透传了，所以像重试、首字符超时这些都扔给使用 api 的 client 了；
加入负载均衡可能会导致 LLM 服务商的输入缓存失效，就没做这个功能了
2 天前 回复了 midraos 创建的主题 › 程序员 › 指挥 AI 做了一个 LLM API 网关 |
@cryptovae #1 为了满足自己的需求，轻量化、低资源占用与保护真实的 apikey ；
6 天前 回复了 hotea 创建的主题 › 程序员 › 当前开发跨平台桌面应用应该用什么语言和框架？考虑到生态和性能，以及 vibe coding 加持 |
@stinkytofux #20 这就要提到 tauri 了，直接使用系统的 webview
8 天前 回复了 Suger828 创建的主题 › 程序员 › 千问别买阿里的 coding plan |
@jqknono #2 我现在用的 kimi coding plan ，订阅了后三四天用了 3 亿多的 token 了
8 天前 回复了 midraos 创建的主题 › 程序员 › kimi coding plan 三档会员还挺耐用的 |
@wchluxi #7 可以，kimi 还提供了官方的 openclaw 插件
8 天前 回复了 ethusdt 创建的主题 › 程序员 › 有大模型的服务，如何防止被蹬？ |
限流限速
Select Language