V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  mightybruce  ›  全部回复第 5 页 / 共 31 页
回复总数  611
1  2  3  4  5  6  7  8  9  10 ... 31  
102 天前
回复了 wisefree 创建的主题 C++ 请教一个 C++性能问题
cpu 缓存 和 提高计算/访存比 是对大型矩阵计算是有非常大的影响的,对于大多数人不做 HPC 高性能计算,很多优化比如循环拆分和向量化是看不到的,很多时候大家都是借助库比如 openblas 和 openmp 来解决的。

我提供几篇文章给大家参考参考
https://renzibei.com/2021/06/30/optimize-gemm/
https://lzzmm.github.io/2021/09/10/GEMM/
105 天前
回复了 ricolxwz 创建的主题 程序员 想买一款杀毒软件, 有大哥推荐不
关于杀软,去卡饭论坛上找找有更多信息。
如何有 vpn 直接连到网络就可以连上各种内网机器了。也可以在那个有外网权限的电脑装上 vpn 服务器,vpn 服务器开启 iptables forward.
有比表达式引擎更强大的 interpreter
yaegi 可以了解一下

https://github.com/traefik/yaegi
110 天前
回复了 sodalingsoda 创建的主题 程序员 想转容器化开发
打错了几个字
是云边协同, 这个前几年很火, 还有一个就是多云集群,集群联邦。

现在大模型这几年很火,要提高高端 gpu 显卡的利用率,开发和运维一样都少不了,侧重资源层面的像 gpu operator, hami ( Heterogeneous AI Computing Virtualization Middleware ) 道客搞的。
侧重训练任务编排和调度 kubeflow
110 天前
回复了 sodalingsoda 创建的主题 程序员 想转容器化开发
准确来说,v2ex 上没几个做 k8s 相关工作的人,上面这些人基本都没做过,不过你多看看 JD 是不错的,
k8s 本身分成好几块开发
运维开发
二次开发 很多涉及到魔改,需要懂源码,就说几个吧,模拟的 api-server, 聚合 api,魔改 kubelet 能够跑 wasm, 能够跑
微服务相关的开发 比如 istio, serverless 这些
云边协调就涉及到很多魔改 kubelet, 魔改 api-server 的开发,尤其是一些物联网、车企


operator 属于基本,如果做一些基础设施运维开发这些也是必会的。operator 封装 低代码开发, 不使用 kubebuilder 的框架,kubevela. kcl.

微服务开发
这部分
istio sofastack, serverless 也有很多比如 knative, openfunction 之类,做这些偏微服务的上层开发有不少互联网公司。

最近这两年热门是国内大模型独角兽和一些国企搞 k8s gpu 调度策略 和提高 GPU 资源利用率方案和开发。

这些东西都无法速成,需要学习不少时间,市面上更是没有什么课程,都是一些割韭菜的 K8s 管理系统和 Operator 简单入门的坑人课程,你自己要考虑。
110 天前
回复了 sodalingsoda 创建的主题 程序员 想转容器化开发
容器开发 和 K8s 开发是两码事,你先理解要做什么再说吧。
容器开发难度更高,属于 linux 内核上的开发。
就看招聘要求里面写的是什么,因为很多招聘就写了必须要懂该行业的知识,而不是所谓的互联网公司那一套东西。
这个只对一些互联网公司成立,很多行业软件和领域都不成立。
110 天前
回复了 lithium148 创建的主题 Linux 除了免费, Linux 好处都有啥
就这么说吧,redis 在 windows 的那个版本只能叫做模拟 linux 环境,windows 都没有相应的 linux 系统调用。
docker 的实现 是严重依赖 Linux 提高 cgroup 和 namespce, windows 是借助 hyper-v 的,也是完全不一样
https://github.com/cesanta/mongoose
这个 西门子,三星,谷歌 都在用
civetweb 有 lua 模块,写一些嵌入式也比较方便
看来你这个内存比较富裕,golang 等一堆语言也是可以用的。
直接做嵌入式 web 服务的话,c 推荐 mongoose, civetweb 。
go 标准库就可以搞,也不需要借助其他。
嵌入式 web 基本都是 C, C++ , 这种不是多的很。何必找一些不成熟的项目。
这种项目首先要考虑的就是资源占用,占用大的一概不考虑了。

https://github.com/civetweb/civetweb
116 天前
回复了 nakroy 创建的主题 程序员 AI 大模型的分布式存储方案
https://arthurchiao.art/blog/gpu-advanced-notes-1-zh/
可以看看这个人写的一些科普吧。
116 天前
回复了 nakroy 创建的主题 程序员 AI 大模型的分布式存储方案
模型权重分担在各个计算节点上内存和 GPU 显存,每一次推理不是一张显卡,是好几张显卡同时计算。
你只要买英伟达的专门用来大模型训练的高端显卡比如 A100, H100 或国内华为相应的显卡昇腾 910B 训练机器, 人家自然会告诉你存储、网络,cpu, 交换机的选择。
116 天前
回复了 nakroy 创建的主题 程序员 AI 大模型的分布式存储方案
模型的参数 就是在各个服务器的内存以及 GPU 大模型的 专门的显存里面的。
我语气有一点冲,不过你的确是在自我想象

RDMA 现在已经有支持以太网的方案,并非一定要 IB
116 天前
回复了 nakroy 创建的主题 程序员 AI 大模型的分布式存储方案
存储使用 PCIE 接口的带宽都不适合 70B 大模型 以上的多卡训练和推理的大模型, 你去云计算厂商和 AI 大模型公司那里多了解了解吧。
1  2  3  4  5  6  7  8  9  10 ... 31  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1145 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 26ms · UTC 18:28 · PVG 02:28 · LAX 10:28 · JFK 13:28
Developed with CodeLauncher
♥ Do have faith in what you're doing.