mushuanl's recent timeline updates mushuanl's recent timeline updates |
mushuanlV2EX member #183086, joined on 2016-07-21 18:46:44 +08:00Today's activity rank 2863 |
| 做了一个 dsh 的 TUI：手机 SSH 远程控制 + Session 费用统计, 欢迎体验加星 程序员 • mushuanl • 12h 42m ago • Lastly replied by aonco33 | 1 |
mushuanl's recent replies
1 day ago Replied to a topic by qianyeyixi › 程序员 › 搞了个 dsh 的 rust 套壳小工具有 v 友试试水么？ |
我做的 tui 版本（ tui 方式的 web 客户端），可以 ssh tmux 上运行
https://github.com/mushuanli/dsht/tree/main
https://github.com/mushuanli/dsht/tree/main
1 day ago Replied to a topic by wildwind2333 › 程序员 › vibe coding 的代码你怎么放心上线？ |
AI 写的代码人类难以 review. 我一般先 ai 出一个原型然后完善，然后自己调整框架架构，对主要功能流程觉得合理后，
自己先跑跑，收集信息，记录功能性和非功能性问题是否存在，然后解决，迭代几个周期基本稳定后上线拿用户当小白鼠。
自己先跑跑，收集信息，记录功能性和非功能性问题是否存在，然后解决，迭代几个周期基本稳定后上线拿用户当小白鼠。
Mar 13, 2024 Replied to a topic by shoumu › 程序员 › 打算配一台主机用于跑大模型玩，大佬们有推荐的配置吗 |
大模型主要瓶颈在内存访问速度，直接上 mac 然后 llama.cpp, 大于 13B 的也能玩
因为 13B 简单玩几次就腻烦了，参数越高性能越好
因为 13B 简单玩几次就腻烦了，参数越高性能越好
Dec 31, 2023 Replied to a topic by shuiguomayi › Linux › 使用版本制的 Linux 大拿遇到系统更新是怎么做的？ |
一般应用和业务运行在 docker 或 k8s 内，主系统升级不影响
Sep 19, 2023 Replied to a topic by sunmacarenas › NVIDIA › Nvidia Jetson AGX Ori 开发者套件 |
全尺寸模型，也就是 gpu 内存要求很大微调成本很高。一般就租云服务器去练习。
Sep 19, 2023 Replied to a topic by sunmacarenas › NVIDIA › Nvidia Jetson AGX Ori 开发者套件 |
企业微调要求全尺寸 nv gpu ，个人玩可以用量化模型。另外现在企业微调的效果并不是很好,包括 rag(提供上下文进行推理），所以现在大模型开始有点冷了，就看看谷歌出的模型如何了。
Sep 19, 2023 Replied to a topic by sunmacarenas › NVIDIA › Nvidia Jetson AGX Ori 开发者套件 |
现在开源大模型除了企业研究外其他普通人一般就用来生成 s 文和 s 聊天，功能太弱，最大的那个 180b 刚出，看看有没人调教，我体验过基本超过 gpt3.5 但是没到 gpt4, 不知道是否有人能发挥出它的性能
Sep 19, 2023 Replied to a topic by sunmacarenas › NVIDIA › Nvidia Jetson AGX Ori 开发者套件 |
要跑 llama213b 那么 13900+ddr5 也够了, llama.cpp 大概 1 秒 5token ，跟得上自己的速度。但是关键是现在没有 ai 应用场景，也就是除了 gpt4 场景外 其他的比较弱，如果你不喜欢玩 roleplay ，并且没有自己的 ai 想法，那么可能过段新鲜感时间后基本就不玩了
Select Language