V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Trinityuan
V2EX  ›  OpenAI

请问 docsGPT 这类文档帮助阅读类应用是如何实现全文准确总结的?

  •  
  •   Trinityuan · 2023-10-03 16:46:10 +08:00 · 1125 次点击
    这是一个创建于 417 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我可以理解到用户问到一个准确的问题,他可以通过通过相似度匹配到 TOP N 条相关的文档片段,然后交给 GPT 去总结结论。

    但是一直没有理解明白,它是如何总结一篇几十万字文档的。这样也没法仅通过一条片段就可以总结全书啊,请问各位大佬们有知道思路的嘛?

    5 条回复    2023-10-03 23:25:31 +08:00
    Trinityuan
        1
    Trinityuan  
    OP
       2023-10-03 16:48:10 +08:00
    比如用户上传了一本市面上没有的 100 万字的小说,问了一句:请总结一下这篇小说讲了一个什么事情。
    它是如何准确答出来的呢?感觉这是无法仅凭几篇文档片段就能总结出来的。
    cwyalpha
        2
    cwyalpha  
       2023-10-03 17:25:19 +08:00
    mapreduce?
    chenlide
        3
    chenlide  
       2023-10-03 20:21:06 +08:00   ❤️ 5
    gpt 的 prompt 肯定是不可能一次接收几十万字的。
    他们把你说的几十万字篇文档分成了很多段,比如 1000 字一段。再把每一段经过 text2vec 文本嵌入算法把每一段转化为一个段落小向量(相当于把一段压缩成了向量来存储)。有个很新的东西叫向量数据库,就是存这些向量的。数据库是有查找功能的。
    当用户提问时把用户的问题转化为小向量,把用户文本向量拿去和向量数据库的向量计算距离,做相似度匹配,找到距离最近的 K 个向量。取出 K 个向量对应的原文。
    把 K 个向量的原文和用户的原问题组成一个 prompt 发给 gpt (字数相比直接接收几十万字少了很多),gpt 再回复
    推荐搜一下 langchain
    &t=603s
    Trinityuan
        4
    Trinityuan  
    OP
       2023-10-03 23:24:42 +08:00
    @cwyalpha 谢谢👍🏻,我去读一下相关文档。
    Trinityuan
        5
    Trinityuan  
    OP
       2023-10-03 23:25:31 +08:00
    @chenlide 收到,感谢细致的解答,我去调研一下相关文档👍🏻
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2779 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 06:21 · PVG 14:21 · LAX 22:21 · JFK 01:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.