mayooot 最近的时间轴更新 mayooot 最近的时间轴更新 |
mayoootV2EX 第 663414 号会员，加入于 2023-11-20 10:47:52 +08:00今日活跃度排名 17650 |
| 使用 Docker 容器运行源神开源的 Grok-1 🤔 程序员 • mayooot • 237 天前 • 最后回复来自 mayooot | 18 |
| [求助] 社招 LeetCode 刷题语言选择 Go/ Java ？ 程序员 • mayooot • 253 天前 • 最后回复来自 e3c78a97e0f8 | 25 |
| [求助] 服务端开发 MacBook 选购建议 MacBook • mayooot • 249 天前 • 最后回复来自 mayooot | 28 |
| 怎样通过接口方式对 GPU 进行 MIG 切分？ NVIDIA • mayooot • 262 天前 • 最后回复来自 yzs981130 | 1 |
| 使用 GPU-Docker-API 管理 GPU 模型容器版本
1 Docker • mayooot • 329 天前
|
| 出 iPhone 11 128g 二手交易 • mayooot • 342 天前 • 最后回复来自 WessonC | 8 |
| 调用接口的方式获取 NVDIA GPU 🤥 Go 编程语言 • mayooot • 326 天前 • 最后回复来自 zeusho871 | 8 |
mayooot 最近回复了
106 天前 回复了 mayooot 创建的主题 › Alfred › 推荐一个 Alfred 工作流，用于格式化 json。 |
新写一个 Base64 编码解码的小插件，感兴趣的 v 友可以试用一下
https://github.com/mayooot/alfred-base64-fromat
https://github.com/mayooot/alfred-base64-fromat
184 天前 回复了 panlatent 创建的主题 › 分享创造 › 来推荐推荐自己的开源项目和经验吧 |
@Hyvi 更新了
185 天前 回复了 panlatent 创建的主题 › 分享创造 › 来推荐推荐自己的开源项目和经验吧 |
[gpu-docker-api] ( https://github.com/mayooot/gpu-docker-api) 是一个使用 Golang 调用 Docker Client 创建 GPU 容器、升降容器的 GPU 卡数、扩缩容 Volume 等等。目的是更简单的使用 GPU 容器。
适合不太熟悉 Docker 的 “炼丹侠们”，当然也可以用作出售企业 GPU 算力（以容器的方式）。
更多是提供一个 Demo ，把自己的想法 share 出去。
适合不太熟悉 Docker 的 “炼丹侠们”，当然也可以用作出售企业 GPU 算力（以容器的方式）。
更多是提供一个 Demo ，把自己的想法 share 出去。
213 天前 回复了 main1234 创建的主题 › Kubernetes › 求教 k8s 中 service、kubeproxy ipvs、flannel 的关联问题 |
@mayooot 我的回答是直接截取的一个 Service 下面 3 个 Pod 的 iptables 规则，可能和楼主说的对应不上。看个意思就行吧
213 天前 回复了 main1234 创建的主题 › Kubernetes › 求教 k8s 中 service、kubeproxy ipvs、flannel 的关联问题 |
假如你的 kube-proxy 模块用的 iptables 模式，然后我尝试回答一下你的疑问。
假设现在一个 Service 下面有 2 个 Pod ，iptables 规则如下：
~~~
-A KUBE-SERVICES -d 10.111.4.1/32 -p tcp -m comment --comment "default/hostnames: cluster IP" -m tcp --dport 80 -j KUBE-SVC-NWV5X2332I4OT4T3
~~~
负载均衡规则和 DNAT 规则如下：
~~~
-A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.33332999982 -j KUBE-SEP-WNBA2IHDGP2BOBGZ
-A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-X3P2623AGDH6CDF3
-A KUBE-SEP-WNBA2IHDGP2BOBGZ -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 10.244.1.7:9376
-A KUBE-SEP-X3P2623AGDH6CDF3 -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 10.244.2.3:9376
~~~
假设现在一个 Service 下面有 2 个 Pod ，iptables 规则如下：
~~~
-A KUBE-SERVICES -d 10.111.4.1/32 -p tcp -m comment --comment "default/hostnames: cluster IP" -m tcp --dport 80 -j KUBE-SVC-NWV5X2332I4OT4T3
~~~
负载均衡规则和 DNAT 规则如下：
~~~
-A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.33332999982 -j KUBE-SEP-WNBA2IHDGP2BOBGZ
-A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-X3P2623AGDH6CDF3
-A KUBE-SEP-WNBA2IHDGP2BOBGZ -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 10.244.1.7:9376
-A KUBE-SEP-X3P2623AGDH6CDF3 -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 10.244.2.3:9376
~~~
221 天前 回复了 umaru0 创建的主题 › 酷工作 › 九章云极这家公司怎么样 |
同问，楼主去这个公司了吗
222 天前 回复了 Davic1 创建的主题 › iPad › 你的 iPad mini 都用来做什么？ |
我使用 ipad mini 的情况：早上/晚上洗漱时，用 ipad 咪咪 看会哔哩哔哩或者听歌，吃饭的时候看剧。偶尔看看极客时间，还有 Github 。偶尔用 apple pencil 写写画画。
237 天前 回复了 mayooot 创建的主题 › 程序员 › 使用 Docker 容器运行源神开源的 Grok-1 🤔 |
@xiaozhang1997 谢谢哥们理解，我也没想到有人认为我在炫富，我就一个底层小牛马，给公司跑跑模型。
在 Github 上这个项目还是能帮到一些人的（虽然老外比较多），这样就足够了，😊
在 Github 上这个项目还是能帮到一些人的（虽然老外比较多），这样就足够了，😊
245 天前 回复了 mayooot 创建的主题 › 程序员 › 使用 Docker 容器运行源神开源的 Grok-1 🤔 |
@firefox12 GitHub 上已经有封装好的 web 页面，看一下这个帖子，快速启动里的-grok 本地部署那篇文章，里面有讲的。
不需要联网。
不需要联网。
246 天前 回复了 mayooot 创建的主题 › 程序员 › 使用 Docker 容器运行源神开源的 Grok-1 🤔 |
@firefox12 你可以理解为一个对话模型和 chatgpt 差不多，你问一个问题它回答你。比如默认是在黑框框（命令行模式）里问问题/回答，如果它有 API ，就能写个 WEB 页面，然后你再浏览器上就能和它对话了，这时候就和 chatgpt 更像了。
不过它和数据库不一样的是，需要的资源要比我们的电脑大的多，就得需要专业的服务器来跑模型了。但是把模型下载到服务器上，然后跑起来，它肯定要依赖环境的，而服务器大部分情况下之前就已经被用过了，比如说 Python 版本是 3 .8 ，但是不凑巧的是这个模型还需要 3.10 ，所以选择用 Docker 容器来打包它的运行时环境（里面有 Python 3.10 ）。
不知道这样解释能否明白一点。
不过它和数据库不一样的是，需要的资源要比我们的电脑大的多，就得需要专业的服务器来跑模型了。但是把模型下载到服务器上，然后跑起来，它肯定要依赖环境的，而服务器大部分情况下之前就已经被用过了，比如说 Python 版本是 3 .8 ，但是不凑巧的是这个模型还需要 3.10 ，所以选择用 Docker 容器来打包它的运行时环境（里面有 Python 3.10 ）。
不知道这样解释能否明白一点。
Select Language