robbaa 最近的时间轴更新 robbaa 最近的时间轴更新 |
robbaaV2EX 第 594402 号会员，加入于 2022-09-15 13:13:39 +08:00今日活跃度排名 6008 |
| 薄荷糖配可乐，口感很刺激 美酒与美食 • robbaa • 270 天前 • 最后回复来自 ohoh | 13 |
| 找不到好用又便宜的笔记软件，又想造轮子了 程序员 • robbaa • 198 天前 • 最后回复来自 JayZXu | 111 |
robbaa 最近回复了
1 天前 回复了 leeum 创建的主题 › 程序员 › 使用 llama3:70b 本地化部署， 100 人左右的并发，大概需要多少块 4090 才能满足？ |
ab -c 10 -n 10 -p ./testchat.json -T "application/json" -H 'Content-Type: application/json' http://localhost:11434/api/chat
testchat.json 中内容
```
{
"model": "llama3:70b",
"stream": true,
"frequency_penalty": 0,
"presence_penalty": 0,
"temperature": 0.6,
"top_p": 1,
"messages": [
{
"content": "安排一个南京的 2 天的旅游攻略，用中文回答",
"role": "user"
}
]
}
```
testchat.json 中内容
```
{
"model": "llama3:70b",
"stream": true,
"frequency_penalty": 0,
"presence_penalty": 0,
"temperature": 0.6,
"top_p": 1,
"messages": [
{
"content": "安排一个南京的 2 天的旅游攻略，用中文回答",
"role": "user"
}
]
}
```
1 天前 回复了 leeum 创建的主题 › 程序员 › 使用 llama3:70b 本地化部署， 100 人左右的并发，大概需要多少块 4090 才能满足？ |
@ispinfx ollama 目前是单线程模型。
ab 工具测试 10 并发 10 请求，耗时 312 秒， 没有并发可言
ab 工具测试 10 并发 10 请求，耗时 312 秒， 没有并发可言
2 天前 回复了 leeum 创建的主题 › 程序员 › 使用 llama3:70b 本地化部署， 100 人左右的并发，大概需要多少块 4090 才能满足？ |
给你个参考：
环境：双 3090 + nvlink + docker
命令：ollama run llama3:70b --verbose
刚刚好可以塞下。
ollama-1 | ggml_cuda_init: found 2 CUDA devices:
ollama-1 | Device 0: NVIDIA GeForce RTX 3090, compute capability 8.6, VMM: yes
ollama-1 | Device 1: NVIDIA GeForce RTX 3090, compute capability 8.6, VMM: yes
ollama-1 | llm_load_tensors: ggml ctx size = 0.83 MiB
ollama-1 | llm_load_tensors: offloading 80 repeating layers to GPU
ollama-1 | llm_load_tensors: offloading non-repeating layers to GPU
ollama-1 | llm_load_tensors: offloaded 81/81 layers to GPU
ollama-1 | llm_load_tensors: CPU buffer size = 563.62 MiB
ollama-1 | llm_load_tensors: CUDA0 buffer size = 18821.56 MiB
ollama-1 | llm_load_tensors: CUDA1 buffer size = 18725.42 MiB
测试三次结果：
total duration: 25.820168178s
load duration: 1.436783ms
prompt eval count: 14 token(s)
prompt eval duration: 483.796ms
prompt eval rate: 28.94 tokens/s
eval count: 448 token(s)
eval duration: 25.203697s
eval rate: 17.78 tokens/s
total duration: 30.486672187s
load duration: 1.454596ms
prompt eval count: 479 token(s)
prompt eval duration: 2.025687s
prompt eval rate: 236.46 tokens/s
eval count: 496 token(s)
eval duration: 28.322837s
eval rate: 17.51 tokens/s
total duration: 21.176605423s
load duration: 2.629646ms
prompt eval count: 529 token(s)
prompt eval duration: 2.325535s
prompt eval rate: 227.47 tokens/s
eval count: 324 token(s)
eval duration: 18.622355s
eval rate: 17.40 tokens/s
环境：双 3090 + nvlink + docker
命令：ollama run llama3:70b --verbose
刚刚好可以塞下。
ollama-1 | ggml_cuda_init: found 2 CUDA devices:
ollama-1 | Device 0: NVIDIA GeForce RTX 3090, compute capability 8.6, VMM: yes
ollama-1 | Device 1: NVIDIA GeForce RTX 3090, compute capability 8.6, VMM: yes
ollama-1 | llm_load_tensors: ggml ctx size = 0.83 MiB
ollama-1 | llm_load_tensors: offloading 80 repeating layers to GPU
ollama-1 | llm_load_tensors: offloading non-repeating layers to GPU
ollama-1 | llm_load_tensors: offloaded 81/81 layers to GPU
ollama-1 | llm_load_tensors: CPU buffer size = 563.62 MiB
ollama-1 | llm_load_tensors: CUDA0 buffer size = 18821.56 MiB
ollama-1 | llm_load_tensors: CUDA1 buffer size = 18725.42 MiB
测试三次结果：
total duration: 25.820168178s
load duration: 1.436783ms
prompt eval count: 14 token(s)
prompt eval duration: 483.796ms
prompt eval rate: 28.94 tokens/s
eval count: 448 token(s)
eval duration: 25.203697s
eval rate: 17.78 tokens/s
total duration: 30.486672187s
load duration: 1.454596ms
prompt eval count: 479 token(s)
prompt eval duration: 2.025687s
prompt eval rate: 236.46 tokens/s
eval count: 496 token(s)
eval duration: 28.322837s
eval rate: 17.51 tokens/s
total duration: 21.176605423s
load duration: 2.629646ms
prompt eval count: 529 token(s)
prompt eval duration: 2.325535s
prompt eval rate: 227.47 tokens/s
eval count: 324 token(s)
eval duration: 18.622355s
eval rate: 17.40 tokens/s
22 天前 回复了 heng0226 创建的主题 › 南京 › 五一去南京旅游需要注意什么 |
别来，本地人都挤的没地方去了 T_T
73 天前 回复了 zooo 创建的主题 › 生活 › 话说 正月里能不能理发？ |
建议别剪，人言可畏
95 天前 回复了 XvKai 创建的主题 › 南京 › 网友们好啊！谁能推荐下南京景点吗？ |
请参照高德地图角落点亮，把剩余的 81.1%点亮~
---
同南京人，我大榴莲都没去过 T_T
---
同南京人，我大榴莲都没去过 T_T
133 天前 回复了 xuanskyer 创建的主题 › 音乐 › 2023 网易云村年度听歌报告又出来了，来聊聊看你的年度最佳歌曲吧！ |
Toca Toca
154 天前 回复了 luomao 创建的主题 › 程序员 › 如何带一个 0 基础的女生接触编程呢 |
218 天前 回复了 Jack66 创建的主题 › 程序员 › 起步 PHP ，用了近 2 年 go，开发经验 7 年。目前在一家小公司负责研发，目前项目因为人力用 PHP 开发，纠结重构用 go 还是 Java ，目前三线城市 Java 岗位多出于这个原因，大家有什么好的建议 |
小公司重构就用 golang ，性能好、省资源。
技术栈一旦确定下来就要有人维护，java 人那么多，招来就是工资倒挂，何苦？
技术栈一旦确定下来就要有人维护，java 人那么多，招来就是工资倒挂，何苦？
Select Language