tensorflow与pytorch的GPU分配与使用策略详解-CSDN博客

网站介绍:文章浏览阅读5.8k次,点赞17次,收藏35次。前言:看了很多关于多GPU分配与使用的文章,发现很多文章都是只介绍了一些最浅显的东西,没有深入解释清楚,本文所使用的服务器上面含有4块 GTX2080Ti 的GPU。声明:深度学习框架所使用的GPU不是以GPU本身的个数和编号而言的,而是以我们本身给框架能够看见的GPU数量而言的,什么意思呢?一、关于GPU的可见性与框架使用的GPU的映射关系——device mapping(1)当不设定任何限制的时候,我们的框架可以看见4块GPU,所以在使用的时候对应的关系如下:/job:localhos