@thatlazyman 好像是 Joe Coffee 的，刚刚查了一下好像国内确实不好买…

当写代码是你工作中最不重要的一部分的时候才有可能

@thatlazyman 可以试试 Benchmark 这个牌子的，如果本地有烘焙的店也可以试试

@ToBeHacker 小杠一下，malloc 不是系统调用，底层的 brk 和 mmap 才是

multi head 是计算策略，你看一下源码就知道了。self attention 就是 parallel 的不是 sequential 的，这也是它比 rnn 好的原因之一。

非分布式场景 spark 没多快吧。考虑到你内存大于数据集，是计算密集型的话多核 /线程确实会有帮助，可以考虑 mkl, openmp 之类的？话说 numpy 其实挺快的了，处理数据应该足够。

这都哪跟哪啊…… torch 是 torch,mpi 是 mpi 。建议了解一下基础。