V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
shadio
V2EX  ›  程序员

ChatGLM2-6B 有点儿厉害啊,笔记本就可以运行起来,个人 AI 助手的时代是不是要来了?

  •  
  •   shadio · 2023-06-29 20:14:12 +08:00 · 4058 次点击
    这是一个创建于 497 天前的主题,其中的信息可能已经有所发展或是发生改变。

    部署了一下 ChatGLM2-6B ,感觉速度挺快。 随机从 V 站选了几个问题测试了一下回答的还是有板有眼的。 不过和 gpt4 还是有一些差距:

    28 条回复    2023-07-02 03:05:25 +08:00
    DigitalG
        1
    DigitalG  
       2023-06-29 20:15:48 +08:00
    请问上下文关联表现得怎么样呢?
    youthfire
        2
    youthfire  
       2023-06-29 20:21:46 +08:00 via iPhone
    你这一问一答,答案全显花了多少时间?
    shadio
        3
    shadio  
    OP
       2023-06-29 20:24:04 +08:00
    @youthfire 10s 左右,感觉比 chatgpt 快,比文心一言快至少五六倍
    shadio
        4
    shadio  
    OP
       2023-06-29 20:25:14 +08:00
    @DigitalG 还行,基本上所问即所答,复杂一些的内容比 chatgpt 差
    Moeblack
        5
    Moeblack  
       2023-06-29 20:34:03 +08:00
    感觉还不错,没有量化的模型我 16GB 显存就跑起来了,
    int4 说是 6GB 就能跑。
    Moeblack
        6
    Moeblack  
       2023-06-29 20:34:16 +08:00
    不知道楼主有没有尝试过微调?
    Pitttttt
        7
    Pitttttt  
       2023-06-29 20:37:12 +08:00
    请问下你部署的服务器的配置是怎样的?
    wxf666
        8
    wxf666  
       2023-06-29 20:39:52 +08:00
    问一个正则看看?

    要求能去除 PHP 、js 里的所有注释,但不要误伤字符串。具体包括:

    1. 三种引号(''、""、``),以及 HereDoc (<<<EOF )、NowDoc (<<<'EOF'),且允许字符串里有转义符

    2. 三种注释(#、//、/* */)
    Moeblack
        9
    Moeblack  
       2023-06-29 20:43:30 +08:00
    @wxf666 要求能去除 PHP 、js 里的所有注释,但不要误伤字符串。具体包括:
    1. 三种引号(''、""、``),以及 HereDoc (<<<EOF )、NowDoc (<<<'EOF'),且允许字符串里有转义符
    2. 三种注释(#、//、/ /)

    抱歉,我无法提供完整的函数或代码片段,因为这需要在全局环境中进行处理,而我不想引入太多的全局变量或函数。
    但是,我可以为您提供一些基本的示例代码,以帮助您实现这个需求。请注意,这些示例代码仅用于演示目的,不应直接应用于生产环境中。
    在 PHP 中,您可以使用以下代码来实现去除注释并保留字符串的函数:


    function strip_ comments($str) {
    $str = replace($str, '#', '', true); // 使用 `true` 参数去除注释
    $str = rtrim($str, '/*'); // 去除注释注释行
    $str = str_replace(['//', '/*'], '', $str); // 使用 `'/*'` 和 `'//'` 替换注释
    return $str;
    }

    该函数使用 replace() 函数替换字符串中的注释,并使用 rtrim() 函数去除注释注释行。最后,它还使用 str_replace() 函数将注释字符串替换为空字符串。
    在 JavaScript 中,您可以使用以下代码来实现去除注释并保留字符串的函数:

    function strip_ comments($str) {
    $str = $str.replace(/#{http_build_query}/g, ''); // 使用正则表达式去除注释
    $str = $str.replace(/:</g, ''); // 去除注释行
    $str = $str.replace(/<!--/g, ''); // 去除注释
    return $str;
    }

    该函数使用 replace() 函数替换字符串中的注释,并使用 replace() 函数去除注释注释行和连接符。它还使用 g 参数表示要替换整个字符串,而不是只替换特定字符。
    请注意,该函数将保留 PHP 和 JavaScript 中的引号和 HereDoc 结构,但将去除注释行和连接符。
    如果需要同时去除 JavaScript 中的注释行和连接符,您可以使用以下代码:

    function strip_ comments($str) {
    $str = $str.replace(/:</g, ''); // 去除注释行
    $str = $str.replace(/>/g, ''); // 去除注释连接符
    $str = str_replace(['//', '/*'], '', $str); // 使用 `'/*'` 和 `'//'` 替换注释
    return $str;
    }

    这是使用正则表达式和 replace() 函数实现的。它首先去除注释行,然后去除注释连接符,最后保留引号和 HereDoc 结构。
    youthfire
        10
    youthfire  
       2023-06-29 20:47:50 +08:00 via iPhone
    @shadio #3 那就比较实用了,之前跑过 privateGPT ,关联度差,速度奇慢
    thinkm
        11
    thinkm  
       2023-06-29 20:53:51 +08:00
    能翻译不,准确性比起 gpt3.5 怎么样
    wxf666
        12
    wxf666  
       2023-06-29 20:59:19 +08:00
    @Moeblack #9 好像你没提到必须用正则实现?
    LittleYangYang
        13
    LittleYangYang  
       2023-06-29 21:37:18 +08:00   ❤️ 1


    感觉不知道什么参数造成的影响,在长度为 8192 的时候连续试了几次都断在了“文”这个字,但是长度肯定没超 8192 ,把长度拖动大一点之后,继续刚刚 8192 长度参数的会话重新发了一次就成功翻译完了,不是很明白,不知道是不是 webui 的问题。

    稍微测下来可能结构化输出还需要进一步微调,试了几次让它分析文本以 json 格式输出都只有前半段 json 没后半段,但是真的发展迅猛,总之未来可期。
    locoz
        14
    locoz  
       2023-06-29 21:47:55 +08:00 via Android
    啊?都出 2 了?
    xiaohundun
        15
    xiaohundun  
       2023-06-30 08:54:31 +08:00
    这个模型真是飞快啊,跑在 4090 上
    acerphoenix
        16
    acerphoenix  
       2023-06-30 09:24:23 +08:00
    联网不?数据哪儿来的,得需要自己训练吧,
    shadio
        17
    shadio  
    OP
       2023-06-30 09:33:15 +08:00
    @Pitttttt 我用笔记本跑的,联想 y9000p
    shadio
        18
    shadio  
    OP
       2023-06-30 09:33:53 +08:00
    @acerphoenix 它训练好的,直接本地电脑可以用啊
    shadio
        19
    shadio  
    OP
       2023-06-30 09:34:49 +08:00
    @thinkm 简单测试了一下,翻译的准确性不然 gpt3.5 ,但比一般的翻译软件要好一点儿
    ac23
        20
    ac23  
       2023-06-30 09:42:44 +08:00
    发展好快
    honkew
        21
    honkew  
       2023-06-30 10:47:51 +08:00
    A 卡能跑吗
    shadio
        22
    shadio  
    OP
       2023-06-30 10:55:10 +08:00
    @honkew 没 A 卡电脑,没有试过
    shadio
        23
    shadio  
    OP
       2023-06-30 12:40:00 +08:00
    @Moeblack #6 还没有试
    chancat
        24
    chancat  
       2023-06-30 16:14:53 +08:00 via Android
    这咋搭建的啊
    shadio
        25
    shadio  
    OP
       2023-06-30 18:38:26 +08:00
    @chancat 按照工程文档一步步来就可以了啊: https://github.com/THUDM/ChatGLM2-6B
    chancat
        26
    chancat  
       2023-07-01 18:33:05 +08:00 via Android
    @shadio 哇,谢谢我去学习学习
    iorilu
        27
    iorilu  
       2023-07-01 18:37:47 +08:00
    这模型翻译效果如何

    能当翻译器用吗
    nomagick
        28
    nomagick  
       2023-07-02 03:05:25 +08:00
    老夫把它传到 Replicate 上了,直接云端运行

    https://replicate.com/nomagick/chatglm2-6b
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5370 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 08:50 · PVG 16:50 · LAX 00:50 · JFK 03:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.