环境信息

服务器型号	系统版本	驱动版本
Dell R740xd	ESXi6.5u3 15177306	NVIDIA-VMware-440.87-1OEM.650.0.0.4598673.x86
Dell R940xa	ESXi6.5u3 15177306	NVIDIA-VMware-440.87-1OEM.650.0.0.4598673.x86
GPU型号	Nvidia Tesla V100
备注：驱动版本和系统版本一定要对应，系统版本必须是ESXi6.5u3或以上，建议使用6.7版本

一、ESXi主机配置

1、ESXi主机安装GPU驱动

ESXi主机开启ssh，用winscp软件将驱动传到主机下，迁移或者关闭主机上所有虚拟机，然后将主机置入维护模式，并安装驱动

 安装驱动，返回值successfully则表示安装成

 卸载驱动用如下命令

 查看驱动是否安装成功

2、修改BIOS设置

将 Memory Mapped I/O Base 设置为 512 GB（默认为 56 TB）或 12 TB（如果服务器的 RAM 大于 512 GB）：重新引导系统后生效

 

此问题在 R740 用户硬件手册中介绍如下：

Memory Mapped I/O above 4 GB – 启用或禁用要求大量内存的 PCIe 设备支持。仅 64 位操作系统可启用此选项。此选项默认为已启用。

Memory Mapped I/O above Base – 当设置为 12 TB 时，系统将 MMIO 库映射到 12 TB。需要 44 位 PCIe 寻址的操作系统可启用此选项。
当设置为 512 GB 时，系统将 MMIO 库映射到 512 GB，并将最大内存支持减少到低于 512 GB。仅针对 4 GPU DGMA 问题启用此选项。此选项默认设置为 56 TB

注意：设置此选项会将内存限制为512GB（如果已设置为512GB）

3、查看GPU信息

使用命令nvidia-smi查看是否显示GPU信息，如下：

4、vCenter设置图形共享模式

在确认驱动状态没问题以后，我们登陆vCenter，定位到主机–配置–图形，编辑主机图形设置，可以看到默认是共享模式，也就是vsga，我们需要切换到“直接共享“才能使用vGPU。

 

2种GPU分配策略，在有多个GPU的时候生效。

默认最佳性能模式，会在所有可能的GPU上去运行虚拟机，即VM1运行在GPU1、VM2运行在GPU2，以此类推，尽可能平均的分布虚拟机，不会让GPU闲着。

GPU整合模式，会在一个GPU核心上运行先启动的虚拟机，直到当前GPU没有资源才会去使用下一个GPU核心，这个模式多用在同一台服务器上运行多个vGPU profile的情况下。

 

 除了主机的图形选项，针对每个GPU也都可以单独设置共享模式，第一次使用需要在这里再切换一下，主要是需要重启xorg服务来改变配置，不同vSphere版本界面可能不能，部分vSphere 6.5早期版本需要手动重启xorg服务

 二、虚拟机配置vGPU

版本兼容性列表

1、windows配置vGPU

系统版本：win2008R2、win2012R2、win2016R2（win2012R2官网没有企业版，所以只能安装标准版）

系统安装完成后关闭防火墙，打开远程桌面。

注：虚拟机添加vGPU安装驱动后，虚拟桌面连接失效，必须开启远程桌面连接或删除共享pci直通

安装驱动后Nvidia控制面板打不开或者报错，解决办法：安装驱动精灵，升级显卡驱动后重启。

授权vGPU，打开Nvidia控制面板，输入License Server 的IP以及固定的端口号7070 ，重启后查看授权服务器是否生效

2、Centos7.8配置vGPU

2.1、关闭防火墙和selinux

修改/etc/selinux/config文件

SELINUX=disabled

2.2、查看最新内核版本并更新

 当前版本为3.10.0-1127.el7，最新版为以下3.10.0-1127.13.1.el7

 安装以下更新包，重启后查看是否生效

 

检测NVIDIA驱动是否存在

 

2.3、禁用Nouveau驱动

查看nouveau是否运行，如有输出结果即为运行

修改/lib/modprobe.d/dist-blacklist.conf 文件

将blacklist nvidiafb注释，并添加以下两行内容

blacklist nouveau

options  nouveau modeset=0

 

2.4、重建 initramfs image

# mv /boot/initramfs-$(uname -r).img  /boot/initramfs-$(uname -r).img.bak

# dracut /boot/initramfs-$(uname -r).img $(uname -r)

 安装gcc、gcc-c++包

2.5、安装NVIDIA驱动

添加可执行权限

# chmod +x NVIDIA-Linux-x86_64-440.87-grid.run

退出X-server图形，进入文本模式

# init 3

进入驱动目录安装驱动程序

默认Yes

 

选Install and overwrite exis

 

 

 结束安装后重启虚拟机

2.6、修改授权配置文件

进入/etc/nvidia目录，查看是否有gridd.conf文件

如果没有，复制gridd.conf.template此文件，然后命名gridd.conf，在修改此文件内容

 

添加vGPU授权服务器IP和端口号

 

2.7、vGPU授权

重启nvidia服务，登录授权服务器查看是否已有授权

# systemctl restart nvidia-gridd.service

 登陆license服务器查看是否有授权

http://10.86.192.8:8080/licserver

 关于单个VM使用多个vGPU，ESXi版本必须是6.7u3及以上，首先ESXi需要升级到6.7U3的版本才支持，其次虚拟机兼容性也需要修改为vSphere 6.7 Update 2或之后的版本，第三只有多个Q或者C系列的vGPU能添加到单个虚拟机上，而且也会有最低显存设置。