好厉害的大佬，开源的小项目也能有上千的 star
不过 pytorch 底层不也是 C/C++写的吗，所以想要性能比他们好还是有点困难？

1. 看你要研究的项目，再决定基础到什么层次
如果你搞的是纯粹调整模型，加新的学习策略，不需要懂基础，只要了解一点点数学 (会矩阵运算)+熟练使用框架就行了，直接看论文
如果你搞的是 diffusion model 这类比较需要理论的，确实需要多学点基础

2. pytorch lightning 相当于在 pytorch 基础上又包装了一层，帮你解决琐碎的细节，我觉得还是挺好用的
学习时间也很短，如果你本身会 pytorch ，一般一天就能学会了，不用担心
源代码用 pytorch lightning 是好事，一般这种代码会易读一点，因为 pytorch lightning 强制你实现各种模块，代码比较规整，很多开源代码用原生 pytorch 写得一坨，很难读

https://lilianweng.github.io/
很简洁，也很好看

加密货币的计算任务是好拆分的，深度学习的计算任务不好拆分的

先不谈通信的损耗，假设你把训练任务分发给多人之后，用了什么黑科技，等于在一个集群上算：
效率损失也很惊人，这里有个现实的例子（ mlcommons ），4216 张 A100 的速度只有 8 张 A100 速度的 90 倍，而显卡的数量是 527 倍，你可以想象一个如果分发给更多用户的损失有多惊人

而且有一个最低限度的需求，用户的电脑至少能装得下一个模型的一部分吧，而且模型并行的效果不如数据并行好，如果用户的显存太小会非常麻烦的。你想把一个深度学习任务在一个大规模分布式系统上部署，本身就是一个很难的课题，还不如多花钱直接用好显卡在集群上跑

应该不行吧
我用的中行 VISA 也绑不上，DBS 的就可以

南大的那个操作系统课真的特别好，是真的深入底层带你写代码的，蒋老师比很多只会念 PPT 的老师水平高一万倍
如果作为学习还是很推荐的，为了面试后端学操作系统不是很推荐

前几天不是才有事件吗，VPS 解析不了 IP 寄了，不过 1 天后又恢复了
就我个人的使用体验来看，性能其实挺好的，上下行带宽都很大，就是稳定性真不行，别部署不能断的重要服务就行了

如果能解决核心痛点，并且持续输出，还是能干过大厂的，比如早期 redis
或者赛道很窄，做的人很少，比如 ffmpeg

如果单纯还讨论互联网行业，音视频开发，客户端开发这俩我感觉不太卷，同时门槛也不太高
如果愿意上点难度，高性能计算，云原生相关，这也不太卷。不过这俩基本大厂岗位才多，不像 java 后端什么大中小厂都有岗位