老哥们 项目需求用 gpt 解析文件并转成 json 该如何选型

[h417840395]

公司项目要求把数十年的归档的文件结构化，然后使用 json 导出，问一下技术上如何选型 目前要求：不要求内网部署，使用 api 调用（后端交互方便），能上传文件（ doc 、pdf ），能解析成 json 目前问题：我们目前试用了 fastgpt ，先把文件全部导入知识库，然后让 gpt 根据文件名称去解析，但是会出现解析时候 1.上传的文件会被分割多个部分，解析时候就只是解析了前几个部分，有的部分不读取； 2.按照文件名设置解析的文档有可能数据来自于知识库中其他的文件； 3.gpt 模型有文字限制，文档太长解析出来的 json 就截断了 各位老哥有啥思路吗

[ospider]

doc 和 json 之间也没有明确映射关系吧…… GPT 巧妇难为无米之炊啊

[h417840395]

@ospider 这个文本是按照一定的规则写的 有相对固定的标题和格式 用 gpt 已经能解析出来 60%左右 关键点还是上面介个问题咋办 有点头疼

[maymay5]

不能用知识库，必须用上下文模式，然后用 api 的 jsonschema 模式，如果 128K 的上下文还不够用，那你只能人工介入，分块然后合并，人工分块，合并可以写个函数自动化

[h417840395]

@maymay5 好的谢谢老哥 按这个说法知识库的应用场景不是这个？ 知识库主要用来解决啥问题的啊

[maymay5]

@h417840395 #4 在我看来，知识库有且只有私有化，且垂直轻量的搜索引擎，这唯一一个场景

[maymay5]

@h417840395 #4 用知识库的前提，至少知识录入人已经对文档甚至可以倒背如流了，面向给对文档不熟悉的人，也就是客服场景比较好