KevinQi 最近的时间轴更新 KevinQi 最近的时间轴更新 |
KevinQiV2EX 第 483623 号会员，加入于 2020-04-14 18:09:35 +08:00 |
| AI 中的 Question-Answering 任务，如何将大段文本制作成训练数据呢？ 问与答 • KevinQi • 2023-05-26 17:57:40 PM • 最后回复来自 KevinQi | 12 |
| 想要将博客文章或者文档资料处理成 input, output 格式的数据，有什么工具或者如何检索？ 程序员 • KevinQi • 2023-05-17 13:27:21 PM • 最后回复来自 ashone07 | 1 |
| Vue3 的组合式 API 优点是啥？ 程序员 • KevinQi • 2023-04-21 17:11:52 PM • 最后回复来自 wangtian2020 | 32 |
KevinQi 最近回复了
152 天前 回复了 Gotchaaa 创建的主题 › 问与答 › 喷墨打印头长期不用就堵是不是无解 |
152 天前 回复了 Gotchaaa 创建的主题 › 问与答 › 喷墨打印头长期不用就堵是不是无解 |
各有利弊吧，喷墨的可以彩打，并且污染小一点；硒鼓激光喷粉的经久耐用，不过只能黑白，并且打印后附近会有一点墨粉的味道，最好放在窗户附近。
215 天前 回复了 pharaoh168 创建的主题 › 程序员 › 为家里老人看电视进行的一些尝试 |
三大运营商 IPTV 可以终结，让老人折腾什么
243 天前 回复了 xiaoguaiwu 创建的主题 › 程序员 › 可以看看各位大佬的博客吗， 4042 年还有人写博客吗？ |
我的，新鲜出炉 http://qiweiwei.cn
324 天前 回复了 qiyue0726 创建的主题 › 程序员 › 有什么能快速开发网站的框架或语言吗 |
若依，前端 vue ，后端 springboot
2023-06-06 11:08:23 +08:00 回复了 zhuichen 创建的主题 › 程序员 › 我想问问从 0 到 1 再到 70 的项目要给别人是一种什么感受 |
想请教一下您做 AI 的思路，想学习下，不知道可以分享下不？
2023-05-26 17:57:40 +08:00 回复了 KevinQi 创建的主题 › 问与答 › AI 中的 Question-Answering 任务，如何将大段文本制作成训练数据呢？ |
@DigitalG 不太明白，AI 小白，现在只过了一遍 Huggingface 上的 Question Answering 任务的 colab 笔记。
我现在的想法是使用 HuggingFace 上的中文 QA 预训练模型，然后使用手里的文档资料数据进行微调，微调的步骤 Huggingface 上教程很清楚，但是如何使用纯文本 /pdf/exce 文档生成格式化的训练数据（{question, context, answer: {answer_start, answer_text}}），一直没有找到工具和普遍的方法。目前就卡在了“无结构化文档 to Dateset”这一步了
我现在的想法是使用 HuggingFace 上的中文 QA 预训练模型，然后使用手里的文档资料数据进行微调，微调的步骤 Huggingface 上教程很清楚，但是如何使用纯文本 /pdf/exce 文档生成格式化的训练数据（{question, context, answer: {answer_start, answer_text}}），一直没有找到工具和普遍的方法。目前就卡在了“无结构化文档 to Dateset”这一步了
2023-05-26 11:27:16 +08:00 回复了 KevinQi 创建的主题 › 问与答 › AI 中的 Question-Answering 任务，如何将大段文本制作成训练数据呢？ |
@TimePPT 这篇检索到了，但是只有论文。
2023-05-26 11:08:22 +08:00 回复了 KevinQi 创建的主题 › 问与答 › AI 中的 Question-Answering 任务，如何将大段文本制作成训练数据呢？ |
@TimePPT 我觉得从纯文本 /文件 /图片抽取信息做 QA 或者 Document QA 的训练数据集，或者更普遍的，“如何从无结资料构建 QA 数据？”，应该是训练 AI 的一个很普遍的步骤，为什么检索不到什么通用工具呢？是不是我检索的关键字不对啊，学术领域这个称呼是什么呢？
2023-05-26 10:50:20 +08:00 回复了 KevinQi 创建的主题 › 问与答 › AI 中的 Question-Answering 任务，如何将大段文本制作成训练数据呢？ |
@DigitalG 未必是 QA 模型，目前想采用的 3 个，一个是 QA 模型，一个是 Document Question Answer 模型，还有一个是 Table Question Answering ，但是后面两个在 Huggingface 上都没有找到中文的相关模型，所以想着先试试 QA 模型，利用现有数据对某个中文模型进行微调训练。
Select Language