写论文有大量 LLM 任务需要调用,希望对基于描述性语言的非结构化数据进行分析,
目前估算了一下大概需要 10 万次左右的调用,每次输入 token 数量在 20-50K 之间(中型任务),输出大概在 20K 左右。
粗略估算了一下大概是需要 3000M 的输入+2000M 的输出这样的数量级
因为是分析自然语言,希望模型的性能非常高,想用顶尖大模型( claude/gpt/gemini 等等),感觉 glm5.1 和 deepseekV4pro 似乎是这个基线的守门员?低于这个性能水平的不考虑
用 deepseekv4 的价格粗略算了一下,似乎如果按照目前价格调用的话(官网 2.5 折)要花个大两万块钱才能解决.
不知道 v 友们知不知道更便宜一点的调用方法?
因为模型本身用的比较少,不熟悉各家的 coding plan,这东西是给 agent 用的,我用来做通用任务会有提示词之类的限制吗?
1
sddyzm PRO 10 万+次调用是有相当巨量信息的一篇论文了
|
2
LeeReamond OP @sddyzm 其中主要是对描述性数据的结构化解析
|
3
Livid MOD PRO 可以先用 Claude Code 的 CLI 的 `claude -p` 试试。看看多少次任务能够把 $20 一个月的基础档跑满。
|
4
night98 Apr 28
写好提示词,走批量处理,我记得 gemini 官方是有批量 api 的,而且好像指定时段还打折来着,并且提示词写好的话缓存命中率高的话更省钱;要么就是如果数据没隐私风险的话找中转站
|
5
106npo Apr 28 via Android
不限制你批量跑脚本的, 除了几个按 token 计费的 plan ,按次数算的就只有 minimax 了
|
6
monosolo1on1 Apr 28 via iPhone
batch 模式是半价,24 小时内完成
输入命中缓存好像是 1/10 价格,尽可能多地固定提示词的前缀 claude -p 有封号风险的,不要拿自己亲号去跑 |
7
niubilewodev Apr 28
成本最低、性价比最高、速度最快的方案:
买日抛 Team 号,写个程序,自动上 CPA ,自动下号。 1 个 team 号几毛钱,你这种使用模式,多半能能在号死之前用满 1 个 5 小时窗口。 其他所有方案,成本都比我这个高几个数量级,而且还不一定能保证完成(因为都有 5 小时限制、并发限制)。 |
8
flik Apr 28
看看各大模型提供商的 batch API ,相当于 Responses API 的半价
|