Linux深度学习环境搭建：16年日志工程师的排障实录

文章配图，仅供参考

　　第一天卡在NVIDIA驱动安装。按官方文档跑完`nvidia-smi`，显示GPU在线，结果跑PyTorch训练脚本直接报`CUDA unavailable`。我原以为驱动版本和CUDA Toolkit不匹配，结果连滚带爬查了三个小时，发现是conda环境里的`cudatoolkit`包和系统驱动版本冲突——这俩东西居然能同时存在还不互相覆盖，简直离谱。最后是深度学习组的小哥翻出他半年前在个人笔记本上搭环境的笔记，里面写着"必须先卸载系统自带CUDA再装conda的"，我盯着屏幕愣了五秒，突然想起上周运维组把服务器上的CUDA驱动从11.3降级到10.2的骚操作——敢情这坑是早埋好的。

　　凌晨三点蹲在服务器前刷`nvidia-smi -l 1`，看GPU利用率曲线从0%跳到100%再摔回0%，那感觉像在玩俄罗斯轮盘赌。茶凉了第三回的时候，突然发现`conda list`里有个`cudnn`包版本是8.2.1，而PyTorch官网文档明确写着需要8.1.0——这版本号差0.1.1都能引发核战？我盯着屏幕上的版本号，突然想起上周竞对站把标题从"深度学习环境搭建指南"改成"2023最新避坑手册"，当时还笑他们标题党，现在看人家是真懂行。

　　第二天卡在环境变量。`LD_LIBRARY_PATH`里塞了二十个路径，`PATH`里混着系统路径和conda路径，`CUDA_HOME`指向的位置根本不存在——这环境变量乱得比我十年前写的日志解析脚本还离谱。我原以为用`export | grep CUDA`能快速定位问题，结果发现conda激活环境时会动态修改这些变量，每次`conda activate`后变量值都不一样。最后是深度学习组的小哥掏出他的`.bashrc`，里面用`alias`把`conda activate`和`export`绑在一起，我盯着那行`alias act='conda activate && export LD_LIBRARY_PATH=/usr/local/cuda-11.3/lib64:$LD_LIBRARY_PATH'`看了十分钟，突然想起上周站长平台里存了半年的截图——那些截图里环境变量也是这么乱，但人家就是能跑通。

　　第三天卡在PyTorch和TensorFlow共存。深度学习组要同时跑两个框架的实验，结果装完PyTorch再装TensorFlow，直接把CUDA驱动冲垮了。我原以为用conda的虚拟环境能隔离，结果发现这两个框架对CUDA版本的要求完全相反——PyTorch要11.3，TensorFlow要10.2。最后是深度学习组的小哥翻出他去年在AWS上搭环境的笔记，里面写着"必须用docker隔离，conda环境解决不了框架冲突"。我盯着那行`docker run -it --gpus all nvidia/cuda:11.3-base`看了五秒，突然想起上周同事打来的电话——他说他花了三天时间在物理机上搭环境，最后还是改用docker才搞定。

　　现在回头看，这环境搭建根本不是技术活，是运气活。优胜劣汰的法则在这儿体现得淋漓尽致：能跑通的环境都是撞大运撞出来的，报错信息全是烟雾弹，真正的问题藏在某个被忽略的版本号、某个被覆盖的环境变量、某个被遗忘的依赖包里。我原以为日志工程师的排障经验能派上用场，结果发现深度学习环境的问题根本没日志——它连报错都不给你留，全靠猜。

　　上周深度学习组的小哥找我，说他们新买了四台服务器要搭环境。我盯着他手里的U盘，里面装着docker镜像和搭建脚本，突然想起去年一月那个凌晨三点——我蹲在服务器前刷GPU利用率曲线，茶凉了第三回，竞对站的标题改了又改，而真正的解决方案，早就写在那些被我们忽略的细节里了。

　　现在他们用docker跑所有实验，我偶尔会去瞄一眼`docker stats`的输出——那曲线比`nvidia-smi`的稳定多了，至少不会从100%摔回0%。至于conda和系统驱动的冲突？谁爱管谁管，反正我不碰了。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!