V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  kerb15  ›  全部回复第 1 页 / 共 22 页
回复总数  433
1  2  3  4  5  6  7  8  9  10 ... 22  
@sdjl #14 怎么可以拿模型的回复结果来作为参考,毫无价值
7 天前
回复了 kerb15 创建的主题 OpenAI GPT4 API 好像无法保证每次输出都一样?
@xmumiffy
@kaidong21
我试着给 Seed 传了一下 0 和 1 ,发现都没用,看参数注解也是说尽可能保障,实际上我测试的结果是变化的概率挺高的
8 天前
回复了 kerb15 创建的主题 OpenAI GPT4 API 好像无法保证每次输出都一样?
尽管将温度参数设置为 0 、top_p 参数设置为 0 ,也不能完全保证在相同的输入提示下生成的文本完全一致,主要原因是因为在 GPU 计算过程中存在固有的非确定性。

这是因为浮点数计算中的微小差异可能会导致最终选择的 token 有微小变化,特别是当前两个最有可能的 token 之间的差异很小时,会偶尔选择不同的 token ,从而产生不同的结果。

同时,为了提高模型端点的速度,通常使用 GPU 进行计算,而 GPU 计算是并行的(非确定性的)。

在现代的 GPU 神经网络计算中,这种非确定性是无法避免的。

而且,如果模型被部署在不同的区域以实现负载均衡,不同区域的硬件和环境也可能会对模型的计算产生微小的影响,进一步增加了非确定性。

作者:月明
链接: https://www.zhihu.com/question/595912240/answer/3160446512
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
9 天前
回复了 winterbells 创建的主题 问与答 春秋航空严查背包大小吗
你都这么讲了,那不就是事在人为吗,有操作空间,看眼缘,随时做好加钱的准备
@gaobh #4 这么多账号资源,再加上缓存,其实都不纯粹了,不是最原汁原味的调用
10 天前
回复了 kerb15 创建的主题 NAS Raid0 速度慢,是硬盘问题还是硬盘柜的问题
@geniussoft #27 我以为硬 raid 性能才是最好,看了下主板也是支持的
10 天前
回复了 kerb15 创建的主题 NAS Raid0 速度慢,是硬盘问题还是硬盘柜的问题
@geniussoft #25 如果是主板直接支持阵列或者插阵列卡,是不是就不存在这个问题了
10 天前
回复了 sakujo 创建的主题 iOS 微信输入法是不是在 ios 设备上不太灵
微信输入法的最大问题是词库太拉跨了
10 天前
回复了 kerb15 创建的主题 NAS Raid0 速度慢,是硬盘问题还是硬盘柜的问题
@geniussoft 原来这里是需要芯片去支持的
11 天前
回复了 kerb15 创建的主题 NAS Raid0 速度慢,是硬盘问题还是硬盘柜的问题
@Byzliu 因为我的数据很久更新一次,另买了一块 16T 的做冷备份,所以他寄了问题也不大
12 天前
回复了 kerb15 创建的主题 NAS Raid0 速度慢,是硬盘问题还是硬盘柜的问题
@exch4nge 老哥有过类似经验吗
12 天前
回复了 kerb15 创建的主题 NAS Raid0 速度慢,是硬盘问题还是硬盘柜的问题
@serafin 都是 80-200 之间
12 天前
回复了 kerb15 创建的主题 NAS Raid0 速度慢,是硬盘问题还是硬盘柜的问题
@dann73580 唉,4 个组 raid0 不是直接叠加吗,如果只有 50M ,那 4 个怎么也得 200M+,是这样算的么
12 天前
回复了 kerb15 创建的主题 NAS Raid0 速度慢,是硬盘问题还是硬盘柜的问题
@hefish #8 单盘有办法跑到 3G 吗
12 天前
回复了 kerb15 创建的主题 NAS Raid0 速度慢,是硬盘问题还是硬盘柜的问题
@Jirajine 软 raid ,是不是 4 块盘直接 sata 直连主机就行了
12 天前
回复了 kerb15 创建的主题 NAS Raid0 速度慢,是硬盘问题还是硬盘柜的问题
@busier 是啊,我感觉现在的速度跟单盘差不多
12 天前
回复了 kerb15 创建的主题 NAS Raid0 速度慢,是硬盘问题还是硬盘柜的问题
@hefish 确实,不过也不至于我那么低
号称最强,实际...
第一波 ai 热度过了之后其实都没什么兴趣
看看初衷是什么,是拉近人与人之间的关系,方便你我他,还是单纯为了赚钱
1  2  3  4  5  6  7  8  9  10 ... 22  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1278 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 31ms · UTC 17:48 · PVG 01:48 · LAX 10:48 · JFK 13:48
Developed with CodeLauncher
♥ Do have faith in what you're doing.