一直很好奇ESXI内VM通过vSwitch到VM的网络性能
闲来无事刚好买了几张CX341a，来测试一下在ESXI中不同搭配情况下的网络性能。
先上ESXI宿主平台信息：处理：Intel w2150b 10C 20T 3.0Ghz 全核心睿频3.8Ghz
主板：联想 C422
内存：32G DDR4 REG 双通
网卡：OCP CX341a ＊ 2 ＋ DAC线直连
系统：ESXI6.7 U2
VM1：Centos 7.7
VM2：Win10 1903
测试软件：iperf3
交换机1：ESXI内vSwitch
交换机2：FS3812复制代码
ESXI只开两个VM，每个VM占用4核心，留下2个核心给ESXI。
所有系统设置均为默认，仅安装驱动，未配置RDMA、巨型帧、等等。
1. 首先测试CX341a网卡性能，两张网卡直通给VM，通过物理交换机链接，不经过ESXI内vSwitch。
nic_to_nic_单线.png (69.38 KB, 下载次数: 0)
nic_to_nic_多线.png (74.5 KB, 下载次数: 0)
nic_to_nic_单线反.png (74.19 KB, 下载次数: 0)
↑可以看到无论是单线程还是多线程，基本上可以到10Gbps，单线程跑满10Gbps大概占用20%不到的处理性能，多线程与反向处理器占用会高一些。但是基本不影响网络性能。
2. 接下来就是看VM与VM之间，不经过物理网卡与交换机，通过ESXI的vSwitch交换的性能。
e1000e_to_e1000e_单线.png (457.54 KB, 下载次数: 0)
↑ESXI有多种虚拟网卡，这是基本的E1000e，可以看到基本上单线程也可以跑满10Gbps就是处理器占用率稍高，可以理解VM到VM之间的网络交换可能就是内存复制，vSwitch不是瓶颈。
接下来进阶的vmxnet3网卡，Centos7直接识别，Windows上需要安装VMWare Tool才能驱动。
vmxnet3_to_vmxnet3_反单线.png (455.93 KB, 下载次数: 0)
↑单线程情况下处理器占用率12％（这里忘了截），反向稍高为24%，基本上与E1000e性能持平，不过处理器占用率较低。
vmxnet3_to_vmxnet3_多线.png (411.14 KB, 下载次数: 0)
↑多线程情况下，居然速度到了25Gbps，已经超过vmxnet3协商的10Gbps，处理器占用率28%。再次印证了VM到VM间的网络传输可能只是内存复制。
3. 接下来就到了我最为关心的部分，也可能是最常用的部分，
ESXI的vSwitch上行端口为10G网卡，连接外部物理交换机，外部10G主机同样连接物理交换机，VM通过vmxnet3虚拟网卡连接vSwitch与外部物理10G主机的性能。
这里依旧使用直通CX341a来模拟外部主机，Win10使用的是直通的CX341a网卡，Centos为虚拟的vmxnet3网卡。
vmxnet3_to_nic_单线.png (70.05 KB, 下载次数: 0)
↑单线程情况下，只能跑满6.5Gbps左右的性能，处理器占用率同样很低，只有12%。
vmxnet3_to_nic_单线反.png (75.99 KB, 下载次数: 0)
↑单线程反向的情况下性能稍高，大概8Gbps左右的性能。初步估计vSwitch的性能收发情况下不同。
vmxnet3_to_nic_多线.png (447.12 KB, 下载次数: 0)
↑多线程情况下，基本跑满10Gbps，处理器占用25%左右。
总结：
1. VM <-> VM的情况下，基本可以跑满10G，系统兼容的情况下选择vmxnet3最好。
2. vSwitch在VM之间数据交换几乎不存在瓶颈，但是上联外部万兆交换机，与外部10G环境交互下有瓶颈。
有一个很有趣的情况，所有测试下来，ESXI监控内看到宿主机的处理器占用从未超过50%，也就是即使在vSwitch已经是瓶颈的情况下，处理器占用率并不高，或许还是一些其它原因构成了瓶颈。或许是单线程性能？网卡类型？处理周期（无RDMA）？
评论
我个人觉得虚拟化就是图方便，和性能不沾边。vswitch的瓶颈就是vswitch本身，或者说Linux的网络堆栈。所以才有SRIOV和直通来避开它，以至于还出现了专门加速vswitch的网卡。楼主可以试试PVE，把自带的ovs卸载掉，自己编译个带dpdk的怼进去，理论上万兆小包可以跑满。个人拙见，有不对的地方各位大佬多多指正。
评论
小包性能呢？
评论
vm虚拟机自己测自己是接近50G，vm间20多
评论
本也就是顺便测测，在直通和vSwitch之间犹豫的，测试一下明确下性能，自己编译这个。。超纲了
评论
没有想起来测。。
评论
VM自己对自己应该真的就是内存复制啊
评论
大包性能一般情况肯定够啊，主要想看下小包性能
评论
我的esxi 6.7在ssd磁盘速度只有15-20mb/s，原因不明
评论
请问楼主你的esxi是什么版本 我的6.7u3为什么只能选e1000， 我装黑群晖 需要e1000e才行不然不认网卡。。。 我的下拉菜单里面只有e1000 没有其他的
评论
小包不会太差的 iperf3的话pve的virtio大概单核400mbps
评论
楼主帮我分析下，我的环境是DELL R430 E5 2678 V3，系统为6.7 U3，分配6个vCPU给server 2012，通过虚拟交换机直接配置公网IP，网卡无论是e1000e还是vmxnet3，直接系统下浏览器跑speedtest，100M带宽CPU的占用率在40%到60%之间，这简直不正常啊
评论
这个主要取决于你设定的VM的虚拟操作系统类型，如果比较新就全支持，如果比较老就只有e1000。
评论
ESXI主机直接连公网IP了？那ESXI的管理界面不是也暴漏给公网了？而且你这样加上一个VM，没有路由这层的话不是需要两个IP？
评论
公网IP倒是有几个多余的，管理界面这些都作了IP限制都比较安全。最让我不解的是虚拟网卡性能如此孱弱，hyper-v的虚拟网卡性能就很好，100M测速不到10%的CPU占用，但是没有esxi这种虚拟交换机的接口概念
评论
多谢 问题找到了。
评论
我是电脑端的cx341a和虚拟主机的82599EN双口网卡光纤直连，因为没交换机不能直通，82599的2个口用的都是虚拟分配的不同的虚拟系统用。速度感觉不理想，sata控制器直通给黑裙，iscsi挂载到我的电脑，NFS挂载到esxi里复制文件或者磁盘速度测试最高能到360M/S，平时复制文件就200M/S左右。iperf3测试多线程最高8G，单线程5G左右，U是E5-2620不知道是不是会拖后腿。
评论
这方面我没有太多经验，按道理是100mCPU占用不会这么高，而且中间也没有nat的情况，唯一能猜测的，可能就是vSwitch对这种情况支持不好。
评论
但是这种场景时最常用的，比如我的server 2012服务器提供服务，带宽跑到100，但CPU就占了大头，这对其他服务就不好了，并且我在其他PC上模拟这个过程，同样情况！直通网卡CPU情况要好一些，但始终赶不上hyper-v，麻烦您那边有空测试一下，iperf这个似乎模拟不到位
评论
浏览器测试最不准的地方在于你不知道你的CPU是浏览器用掉了还是IO用掉了。你的超高CPU占用大部分都是浏览器用掉了。直接用命令行的Speedtest跑100M几乎没有什么CPU占用。
IMG_1047.jpg (188.03 KB, 下载次数: 0)
IMG_1048.jpg (189.78 KB, 下载次数: 0)
评论
那么问题来了，同样的谷歌浏览器在esxi虚拟机与hyper-v虚拟机以及物理机上的speedtest上CPU占用差距很大，何解？esxi的CPU虚拟化问题？还有你居然分配的是8插槽的CPU ，一般来说不应该是单插槽单路虚拟化吗？
评论
我分配什么这些都是次要的，你Hyper-V是远程桌面还是直接在电脑上开的？远程桌面会带来额外的CPU占用
评论
核心少无所谓的
https://blogs.vmware.com/perform ... rules-of-thumb.html
https://frankdenneman.nl/2016/12 ... pology-vsphere-6-5/
评论
没开远程，直接控制台。本来很多人都诟病esxi的虚拟网卡性能，改用直通，而PVE据说没有这个问题，我没有亲自作测试
评论
还有一个热迁移问题，不然早一堆人想把这货的overhead干了
评论
感谢大佬的分享，你说的反向是win做为Server端吗？
评论
是的 就是client和server互换 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01
·日本留学生活 求个大阪合租
·日本留学生活 自家房招租求
·日本留学生活 东京地区出9成新lv钱包
·日本育儿教育 孩子从国内过来如何学习日语
·日本育儿教育 明年四月横滨招月嫂
·日本育儿教育 请问咋让娃突破识字关？感谢分享中文共读和学习经验的妈妈
·中文新闻 东区明星迈克尔·格列柯，53 岁，将在第一次出生两年后第二次
·中文新闻 《爱情岛》明星卡米拉·瑟洛和杰米·朱维特在透露即将迎来第三