conda 环境下怎么使用 cuda、cudnn、tf 等环境

[CaptainD]

• 我没有接触过算法相关的环境，今天领导让配置下新买的 GPU 服务器，遇到些麻烦

问题

• 我使用 Mini-conda 管理环境，并在虚拟环境中安装了 cuda 、cudnn 、torch 、tf 、paddle 等包
• nvidia-smi 正常工作
• conda list 可以看到 cuda

(nlp) [cs@localhost miniconda3]$ conda list cuda
# packages in environment at /home/cs/miniconda3/envs/nlp:
#
# Name                    Version                   Build  Channel
cudatoolkit               10.1.243             h6bb024c_0    https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

• nvcc 找不到命令，应该是没有配置环境变量

(nlp) [cs@localhost miniconda3]$ nvcc -v
bash: nvcc: 未找到命令...

• 在 python 里可以使用 torch ，但无法使用 tf 和 paddle

Python 3.7.6 (default, Jan  8 2020, 19:59:22) 
[GCC 7.3.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import torch

>>> 
>>> print(torch.cuda.is_available())
True

>>> import tensorflow as tf

>>> 
>>> print(tf.config.list_physical_devices('GPU'))
[]

可能是环境变量导致的，我应该怎么设置

• torch 可用的原因应该是它内置了 cuda 等，但 tf 和 paddle 需要另外安装，而现在 paddle 和 tf 找不到我安装的 cuda

依赖关系

包	版本
pytorch	1.7.1
paddle	1.8.5
tf	2.3
cuda	10.1
cudnn	7.6.5
python	3.7

[RecLusIveF]

tf 讲道理来说，不认 conda 环境里的 cudatoolkit ，只能从英伟达那边下载 cuda ，cudnn 进行安装才能识别

[ysc3839]

建议直接用系统的包管理安装 CUDA ，有的库可能写死了 /usr/local/cuda 路径，你用 conda 安装会麻烦很多的。如果要多版本共存，推荐用 Docker ，NVIDIA 官方有提供 cuda 镜像 https://hub.docker.com/r/nvidia/cuda

[handuo]

是的 安装完官方下的 cuda 和 cudnn 后，在本用户路径 bashrc zshrc 下把 cuda 的位置 bin 和 lbib64 分别附加到 path 和 ld library path 的环境变量，具体自己谷歌

[whywaoxaks]

很多年前，每次一配 gpu 环境就得花好几天，所以就一直用 docker 了，不知道现在好不好配了。

[CaptainD]

@handuo #3 我大概查到了类似方法，虽然感觉哪里有点怪怪的，但应该是可以用了

[Muniesa]

conda 的 cudatoolkit 不是完整的 CUDA ，pytorch 和 paddle 我记得如果用 conda 装的话是可以直接用的，不需要完整 CUDA 环境

[hsfzxjy]

建议配 docker ，省心

[pydiff]

之前用 paddlepaddle 时试过 conda 装的 cudatool 没用，要用 nvidia 的。建议你用 docker ，选择 nvidia 的 cuda-cudnn-devel 版本做基础镜像