V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wencan
V2EX  ›  程序员

想白嫖点大模型的 api

  •  
  •   wencan · 42 天前 · 2911 次点击
    这是一个创建于 42 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用来翻译几页文档。后面应该还会要。不是提供在线服务,就是电脑上手动执行脚本。

    开源的小 size 模型,担心翻译质量。大 size 模型,机器也跑不起来。只能指望在线的了。

    翻译质量好的模型,好像就是 Gemini 和 ChatGPT 。

    试了 Gemini api ,说是限制每分钟 60 ,但实际限得很死。我每次请求前加了 sleep 10 ,请求两次,就报 RESOURCE_EXHAUSTED 。

    OpenAI 的 api ,没记错的话,是一次性赠送多少 token 。只怕不够用。

    准备试试百度免费的 api 。

    不知道有没有什么好开源程序,包装各大模型的 web 页面,提供接口?

    看大家有没有什么好的解决方案。

    36 条回复    2024-06-08 19:06:07 +08:00
    ruidoBlanco
        1
    ruidoBlanco  
       42 天前
    deepinfra llama3 70b 可还行?
    wencan
        2
    wencan  
    OP
       42 天前
    @ruidoBlanco 这货怎么白嫖?原版 llama3 对中文支持不太好吧?
    ruidoBlanco
        3
    ruidoBlanco  
       42 天前
    我记得注册就有一点点美刀,但是足够跑很多很多了。

    中文支持的事情我从来没考虑过。
    issakchill
        4
    issakchill  
       42 天前
    百度 api 用 one api 转接 或者买点 deepseek 的
    morty2
        5
    morty2  
       42 天前
    试试本人开发的,目前还没有正式上线,现在用白嫖的测试服务器(1g 内存):wanxangtrans.com 。 可以不用登录免费使用,支持自定义 api key 。
    LittleYangYang
        6
    LittleYangYang  
       42 天前
    Deepseek 和 Qwen 现在都挺便宜的,1M Token 也就一块钱作用,效果还行
    LittleYangYang
        7
    LittleYangYang  
       42 天前
    @LittleYangYang 作用->左右
    kneo
        8
    kneo  
       42 天前 via Android
    翻译已经是最简单的任务了。大模型要是连翻译都做不好就可以倒闭了。
    EmbraceQWQ
        9
    EmbraceQWQ  
       42 天前
    自己搭的 https://chat1024.tthym.cn 每天 20 次左右,不过没有上传文件,不嫌弃可以试试
    ZnductR0MjHvjRQ3
        10
    ZnductR0MjHvjRQ3  
       41 天前
    月之暗面 注册送十五块钱
    wencan
        11
    wencan  
    OP
       41 天前
    @kneo 国内某知名大模型,把 Socket 翻译为套接口。你还不好说翻译错了。
    secsilm
        12
    secsilm  
       41 天前
    说大模型能做好翻译的,怕是没用过几次。
    secsilm
        13
    secsilm  
       41 天前
    @secsilm #12 严谨点:说大部分大模型都能做好翻译的,怕是没用过几次。
    SkywalkerJi
        14
    SkywalkerJi  
       41 天前 via Android
    @kneo 翻译实力差距很大的。而且已经有专攻翻译的大模型了。
    Azure99
        15
    Azure99  
       41 天前
    noyidoit
        16
    noyidoit  
       41 天前
    @kneo 你可以试下 llama ,用它进行英译中可以评价为完全不可用,但人家活得好好的
    kneo
        17
    kneo  
       41 天前 via Android
    @noyidoit 本地小模型不用拿来说吧,根本上不了线,而且这是英语模型。

    线上能用的大场模型,有翻译做的很差的吗?比如通义千问,百川,火星,甚至 deepseek ?

    真心问,不是杠。我之前试过感觉都还行。不过我主要用 gpt3 ,国内模型确实用的不多。
    kneo
        18
    kneo  
       41 天前 via Android
    @wencan 6 啊,我还真觉得比套接字翻译的好……
    Pteromyini
        19
    Pteromyini  
       41 天前
    @wencan #2 原版对中文确实不太友好
    InkStone
        20
    InkStone  
       41 天前
    如果量不大的话根本不需要考虑那么多……我天天用自己的 GPT3.5 token 跑沉浸式翻译,一个月的账单就十几块钱。这个开销跟免费也没啥区别了。
    leavebody
        21
    leavebody  
       41 天前
    @Azure99 🐂
    BernieDu
        22
    BernieDu  
       41 天前
    @Azure99 基于 llama2 微调的?
    Metre
        23
    Metre  
       41 天前
    https://github.com/LLM-Red-Team 看看这个
    Moonshot AI (Kimi.ai) 接口转 API kimi-free-api

    阶跃星辰 (跃问 StepChat) 接口转 API step-free-api

    阿里通义 (Qwen) 接口转 API qwen-free-api

    ZhipuAI (智谱清言) 接口转 API glm-free-api

    秘塔 AI (metaso) 接口转 API metaso-free-api

    讯飞星火( spark )接口转 API spark-free-api

    MiniMax (海螺 AI )接口转 API hailuo-free-api

    深度求索( DeepSeek )接口转 API deepseek-free-api

    聆心智能 (Emohaa) 接口转 API emohaa-free-api

    此外,我们提出一种可能的提高逆向成本的方案:ban-free-api
    nodesolar
        24
    nodesolar  
       41 天前
    目前在白嫖百度和 gemini
    wencan
        25
    wencan  
    OP
       41 天前
    @nodesolar 刚刚向 Google 上交了自己的信用卡号
    朋友你白嫖 gemini ,调用频率限制如何?
    nodesolar
        26
    nodesolar  
       41 天前
    我几分钟调用一次 不存在超频
    hnliuzesen
        27
    hnliuzesen  
       41 天前
    百度和腾讯的大语言模型有免费的 API ,不过如果做翻译的话,也可以直接白嫖他们的翻译接口
    https://cloud.tencent.com/product/tmt
    https://api.fanyi.baidu.com/api/trans/product/prodinfo
    Meteora626
        28
    Meteora626  
       41 天前
    大模型做翻译 prompt 也要配套,要不然还真不如用普通翻译接口
    xxmaqzas
        29
    xxmaqzas  
       40 天前
    我这有个不限量的白嫖 api
    BernieDu
        30
    BernieDu  
       40 天前
    @kneo 你试过吗,Gemini 的免费 api 我试了,有请求限制,我 10 秒请求一次才勉强不报错,而且我翻译了 20 多种语言,经常有些单词或者句子翻译失败。 本地跑 llama3 8b. 效果更烂,但是 llama3 70b 效果特别好,基本都翻译出来了,而且本地用 ollama 的 api 免费,幸亏 Mac 买的 48g 内存
    wencan
        31
    wencan  
    OP
       40 天前
    @Meteora626 是的,提示加会话
    wencan
        32
    wencan  
    OP
       40 天前
    @BernieDu 你的 gemini 的打开方式不对
    1. 要氪金
    2. https://ai.google.dev/api/python/google/generativeai/ChatSession

    70b 的模型,占用多少内存?
    BernieDu
        33
    BernieDu  
       39 天前
    @wencan gemini 6 月才支持的付费 api 把,gemini api 有时候翻译不出来,有时候把英语->乌克兰 翻译成了英文和中文,有时候把英语->泰语翻译为中文,40g
    wencan
        34
    wencan  
    OP
       39 天前
    @BernieDu 有什么好推荐吗?今天试了 qwen2 70b ,同样的提示词,qwen2 幻觉很严重。
    wencan
        35
    wencan  
    OP
       39 天前
    @BernieDu 70b 模型,是 llama.cpp 之类跑的吗? 多久响应请求?
    BernieDu
        36
    BernieDu  
       39 天前
    llama3, 1 秒一句吧,我内存小,48g 的,勉强跑的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5062 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 07:12 · PVG 15:12 · LAX 00:12 · JFK 03:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.