ONLINE

tangyehui

V2EX member #434873, joined on 2019-08-09 19:14:24 +08:00

Today's activity rank 371

tangyehui 提问技术话题好玩工作信息交易信息城市相关

Gear - 让 Agent 用 Jev 的价格达成 Astra 的性能

程序员 • tangyehui • 4h 32m ago • Lastly replied by tangyehui

6

» More topics by tangyehui

tangyehui's recent replies

4h 32m ago

Replied to a topic by tangyehui › 程序员 › Gear - 让 Agent 用 Jev 的价格达成 Astra 的性能

@nightwind 有兴趣可以点个 star ，持续关注一下。非常感谢！

4h 34m ago

Replied to a topic by tangyehui › 程序员 › Gear - 让 Agent 用 Jev 的价格达成 Astra 的性能

@sampeng 感谢建议！下面是对 automation 任务的统计结果。
每题耗时｜ Luna max ｜ Astra max
Agent 平均运行时间｜ 5 分 51 秒｜ 5 分 39 秒
Agent 运行中位数｜ 5 分 23 秒｜ 5 分 28 秒
含环境准备、执行和评分的平均时间｜ 7 分 07 秒｜ 8 分 30 秒

4h 51m ago

Replied to a topic by raolight › 程序员 › ZCode 开源了

这样的结果就是最终大家都不再相信闭源 harness ，都开始走本地模型 + 自有 harness 的路线了。正好我们最近开源了一套自进化的 harness 框架 Gear —— 只需要一个 benchmark ，就可以自动针对你的场景优化 harness 。
https://github.com/rsi-gear/gear 。求大家 star ！提意见！

5h 4m ago

Replied to a topic by tangyehui › 程序员 › Gear - 让 Agent 用 Jev 的价格达成 Astra 的性能

@lancevps tb 的任务有点太长了，自己的 token 烧不动了，欢迎 contribute 实验结果。在 tb 2.1 上是 Luna + Gear-tuned DSH 84.26%，Astra + Codex 87.4%, Fable + ClaudeCode 83.8%。

14h 50m ago

Replied to a topic by tommyZZM › 程序员 › 提示词工程师会最终出现吗？

感觉不会，最终还是人来定义 benchmark ，任务的评分标准，至于 harness 、model 都靠 ai 来调优。可以关注一下我们的自进化 repo 啊，只要给一个 benchmark ，ai 就能自进化出最适合当前任务的 harness 。当前已经用 luna + dsh 在多个 benchmark 上超越 astra 了。
求 star ！ https://github.com/rsi-gear/gear

» More replies by tangyehui