V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  askfermi  ›  全部回复第 1 页 / 共 22 页
回复总数  421
1  2  3  4  5  6  7  8  9  10 ... 22  
156 天前
回复了 1F357 创建的主题 算法 求助估算队列剩余处理时间的问题
听起来像是 queuing theory 的问题,不过多个队列的问题没怎么研究过,可能可以用 queuing theory 作为关键词搜搜
195 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@lyang 我也想过这个方案,会有两个问题:1. 会有一些资源浪费 2. 由于 llm 生成本身有一些随机性,会导致没办法期待完全一样的结果。
195 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@GeekGao 是的 目前 workload 会随机在支持同一模型的节点里随机分配,监控和其他的目前没实现,估计需要下一个大版本
198 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@nikola11 说的很对,这可能可以以后研究一下 :)
198 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@sentinelK
1/ 虽然这个交互平台是中心化的,但 api 的接口(或者说在实际调用计算之前)是去中心化的。用户可以在本地跑一个节点,之后调用这个节点提供的 api ,并把 request 分配到网络里的所有节点上。你也可以跑一个自己的 bootstrap node ,让朋友们加入这个 bootstrap node 。这应该也能回答 2/。
2/ 除此之外,其实商业化并不是这个项目的目标,我的目标是想知道在去中心化的情况下如何验证结果的正确性,如何合理的分配激励,如何调度计算资源等等。
3/ 目前没想到什么好办法,目前的想法是可以不断地对每个节点进行验证,每一个 request 可能被分配到 2 个以上的 node 上。
198 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@lithiumii 有点像,但 petals 太慢了
198 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@peterchen26 没错,基本上就是这样
198 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@nbndco 这确实是一个我也在尝试实现的问题,我目前的想法是:
- 编译过程里加一个签名,之后在注册到网络的时候需要提供这个签名,保证运行的程序是唯一的。
- 对请求的回复也进行签名和验证,时不时验证返回的回复是不是正确的。

但目前我还没实现这个功能 :(
198 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
@privateproxies 基本上就是楼上说的:很多人可以在链上注册自己的 llm server ,我把它们通过一个 peer-to-peer 的网络连在了一起,之后根据请求的情况算如何支付 token 。
另外 yaonotes.org 这个网站因为精力原因不打算继续维护了 :( 抱歉
198 天前
回复了 askfermi 创建的主题 分享创造 去中心化的大模型 LLM 服务
另外,欢迎加入 discord 讨论和贡献代码: https://discord.gg/PgGb4z4Jve
212 天前
回复了 jiaomeng 创建的主题 OpenAI 文心一言只会废话,不能解决问题
试试我这个? https://chat.xzyao.dev/
自荐一个自己的大模型训练项目: https://github.com/eth-easl/fmengine
2023-07-07 19:50:54 +08:00
回复了 Austin2035 创建的主题 程序员 「chatpdf」开源一个基于大模型的 PDF 对话网页应用
有没有想法集成一些开源的 model ,参见: https://v2ex.com/t/954707#reply2
最近打算实现一个兼容 openai-api 的 server
@zqjilove 是的 只能希望开源模型加加油 :(
2022-12-06 03:34:54 +08:00
回复了 line 创建的主题 OpenAI 从 GPT-3 到 ChatGPT(GPT-3.5) OpenAI 都用了什么新技术?
GPT-3 是一个由 OpenAI 开发的大型语言模型,它可以根据给定的输入文本生成自然语言文本。ChatGPT 是一个基于 GPT-3 的简化版,它专门用于聊天机器人的应用场景。

OpenAI 使用了许多新技术来开发 GPT-3 和 ChatGPT 。其中,GPT-3 使用了许多先进的深度学习技术,包括自注意力机制、残差网络等,以提高模型的语言理解能力。

此外,GPT-3 使用了一种叫做 "多头注意力" 的技术,它可以让模型在处理输入文本时,更加灵活地分配其计算资源,从而提高模型的效率。

ChatGPT 也使用了这些技术,并且还增加了一些新的优化技术,使得模型在聊天机器人的场景中能够更好地工作。例如,ChatGPT 使用了一种新的 "语境知识转移" 技术,它可以让模型在不同的聊天场景中自动调整自己的表现,从而提高模型的适用性。

总之,OpenAI 使用了许多先进的深度学习技术来开发 GPT-3 和 ChatGPT ,这些技术为模型提供了更强大的语言理解能力


From ChatGPT
2022-10-30 22:30:43 +08:00
回复了 rustdevlabs 创建的主题 程序员 简单易用、开发者友好的日志存储和查询平台
very cool!
2022-10-28 23:55:32 +08:00
回复了 PowerDi 创建的主题 问与答 Mac 有什么软件可以服务器之间传输文件
...手机放在口袋里莫名其妙打了一段字还发出去了...
2022-10-28 23:45:59 +08:00
回复了 PowerDi 创建的主题 问与答 Mac 有什么软件可以服务器之间传输文件
@




日,
typesense
meilisearch
1  2  3  4  5  6  7  8  9  10 ... 22  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1263 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 32ms · UTC 17:38 · PVG 01:38 · LAX 10:38 · JFK 13:38
Developed with CodeLauncher
♥ Do have faith in what you're doing.