事情的起因在这里https://www.chiphell.com/forum.php?mod=viewthread&tid=1837024&page=1#pid38614702
以色列邮政直邮所以发出后一个星期就收到了, 因包裹内非单件不可分割特地请求价值写低一点, 人家二话不说就答应, 免邮费这么快卖家又超级给力
背面的Board Label被摘掉了或是本身就没有, 因此无从得知到底是OEM还是零售版, 问了卖家也没有答复这个问题
ConnectX-4 2*100GbE, ConnectX-3 Pro 2*40GbE, ConnectX-3 2*40GbE(已EOL)三代同堂, 接口挡板和散热都有明显的区别
从四代开始Windows 7已不被支持, 所以放到服务器上的Server 2016安装WinOF-2驱动
首先要做的当然是更新固件到最新, Win下很简单复制固件到C盘, 命令行下CD到C盘后指定Device Name, 如下例中的mt4115_pciconf0
mlxfwmanager -u -d mt4115_pciconf0 -i fw-ConnectX4-rel-12_22_1002-MCX456A-ECA_Ax-UEFI-14.15.19-FlexBoot-3.5.403.bin复制代码
更新后输入mlxfwmanager查询固件信息, 目测一切正常和零售版没区别
2018-04-05_011248.png (50.52 KB, 下载次数: 1)
然后根据ConnectX-4官方指南, 固件工具手册和驱动手册进行初始设置, Mellanox写得很详细而且通俗易懂, 熟悉命令行的应该无大问题
https://community.mellanox.com/docs/DOC-2299
http://www.mellanox.com/related-docs/MFT/MFT_user_manual_4_9_0.pdf
http://www.mellanox.com/related-docs/prod_software/Mellanox_WinOF-2_User_Manual_v1.80.pdf
初始端口显示为IB(1), VPI卡通常默认都是InfiniBand
2018-04-05_011830.png (60.7 KB, 下载次数: 0)
四代无法像三代那样能从设备管理器-系统设备里调整端口模式, 根据指南需要通过mlxconfig更改, 同时这个命令也用于修改其它很多设置
mlxconfig -d mt4115_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2复制代码
2018-04-05_012240.png (90.44 KB, 下载次数: 0)
修改完重启后端口就显示为ETH(2)了, 部署InfiniBand需要Subnet Manager, 但在不通过交换机的互联环境下配置起来稍微有点麻烦因此改用Ethernet
2018-04-05_012917.png (37.97 KB, 下载次数: 0)
设备管理器中也可以确认Port Type已变为ETH
2018-04-05_013524.png (92.84 KB, 下载次数: 0)
最后根据指南将MTU调整为Jumbo Frames(Jumbo Packet改为9216)
2018-04-05_013909.png (84.04 KB, 下载次数: 0)
好了一切已准备就绪, QSFP28 DAC铜缆还在转运途中, 收到后会更新NTttcp和iperf测试
2018-09-14更新
收到卡之后不久遇到了下面的事情后不了了之, 直到最近无意间碰到大船价OEM版, 本来想趁出国出差前弄的, 谁知道...
2018-09-15_050723.png (130.1 KB, 下载次数: 0)
估计和这卡不八字不合, 收到的第一块OEM竟然也点不亮, 好在超级好卖家又免费空运一块过来, 下午一下飞机看完F1 FP2后立马开测
Board Label有了具体的信息, 经查询得知为Lenovo System-X OEM, 实际PN号00MM962_Ax, 和标签上的稍有不同, 出厂日期2016-07-29, Rev A4
PSID为LNV2190110032(Lenovo), 不同于零售版MT2190110032(Mellanox Technologies), 上机显示的基本信息也有所不同
因为PSID的原因, 上面提到的mlxfwmanager升级固件方法无法用于OEM, 需要采用更高级的flint命令, 而原来的那块可以继续用那个方法
查询MFT使用手册和STH论坛上的讨论, 最简单的方法就是flint添加-allow_psid_change强制刷零售版固件
flint -d mt4115_pciconf0 -i fw.bin -allow_psid_change burn复制代码
需要注意的是必须确保固件和OEM版本对应, 否则在未备份的情况下直接刷错固件有可能变砖
更新完成后查询PSID已变为零售版, 相关信息都已成功刷入, 实在不放心可以用flint verify命令验证固件
OEM信息当然不可能彻底清除, 比如mlxburn命令查询VPD(Vital Product Data)只读部分依然能看到很多Lenovo, 而原来那块查不到任何VPD信息
确认适配器信息, 记得用上面的命令将IB改为ETH, 和原来那块作比较可以看到OEM版多了PN和SN号, 猜测原来那块有可能是ES版?
接上两根HPE OEM版MCP1600-C003 QSFP28 3M DAC铜缆线后直接变身为数据中心, 比起SFP+和QSFP+真的是又黑又粗又硬多了
最后当然就是做几个简单的测试能否跑满, 包括Mellanox自家工具nd_send_bw, NTttcp v5.33和iperf2 v2.0.10
98.03Gbps是其中一根互联的正常水平, 大功告成
评论
等着看你飞
评论
存储大神666总有些没听过的货~
评论
等J叔更新
评论
100G的网卡，请问大佬需要什么样的nvme ssd raid才能跑满？
另外内存ram盘能跑满吗？
评论
我觉着热心的J叔应该晋级小恶魔
不光自己玩，还惠泽大众
评论
老哥问一下，买了P3605，四方转运里的包裹商品信息要怎么填写，如实填报吗？品牌 单价什么的？
评论
加一 支持J叔进阶小恶魔
坛里不少科普篇都是J叔写的
光靠开箱拍照好看进阶的规则太过时了
评论
还有大树
评论
对了 j叔 100g能菊花串链 可以搞搞看
评论
ASUS Hyper M.2 x16上4*900P加几个Workers, 即便是4KiB随机混合读写也可以跑到80-90%
2块混合读写能到1~1.1M+, 4块就是2~2.2M+ IOPS(8-9GB/s)
001.png (415.45 KB, 下载次数: 0)
评论
3个Nodes间绝对可以这样搞, 买Dual-Port就是考虑到这种情况, 不过暂时只准备两台直连了
评论
我家才刚用上200m宽带
评论
我外网也就是1GbE, 这个不搭界的
评论
内部也就覆盖了5G（家里穷，面积小，一个路由就够）
评论
我的意思是这个卡和你说的这些不是同个层面上的应用, 比如我家里大部分设备也都是通过5G Wi-Fi, 工作站和服务器连接外网也是普通的1GbE LAN
这个2*100GbE只会在它们之间使用, 你可以理解成两个GPU直连到CPU的带宽分别为PCIe 3.0 x8 7.88GB/s, 而两个GPU之间走300GB/s的NVLink
评论
100G终于能普通家用上了，虽然贵且非图形界面。。。
评论
有Windows/Linux的iSER/SRP教程吗
评论
https://community.mellanox.com/docs/DOC-2674
评论
好贴！
一秒10GBytes数量级的传输，家用，无敌了。
评论
期待iperf数据
评论
请教J大一个基础问题：
我的老卡，2代vpi，是qdr+10G的双口。如果配置为eth协议，那本地连接的速度是10Gbps这个没有疑问。那么如果配置为ib qdr协议，那么本地连接（IPoIB）的速度是多少呢？10G还是40G？
评论
ETH 10GbE IB 40Gbps, 不过IB要配置Subnet Manager, 没有交换机的话比较麻烦的, 你之前IB连不通就是这个原因
评论
非常屌丝的说一句，主板集成的网络芯片，何时能局部范围的，比如有三成，升级个10G？
话说，万兆有线家用元年，还得磨蹭到2020不？
评论
那么就是说，不是线的问题，而是ib直连本身就比较麻烦咯？对于sm，我在winof驱动文件夹里好像找到了manager，但是命令行不太熟，一直没仔细研究
想必J大也不会采用ib交换机吧，价格挺贵的。
那么既然ib和eth都是100gbps，ib有哪些优势？eth支持直连这一点无可比拟啊
评论
IB交换机肯定不会买的, 这个一般也只会存在于HPC超算数据中心
ETH直连简单但部署RDMA相关协议会比IB麻烦一些, 出现IB的目的就是为了降低超算互联延迟, 因此人家天生就包含RDMA
比如iSER和SRP, 前者在IB上部署比ETH上更容易, 而后者如果要部署在ETH上会非常困难
然后就是相同协议IB在某些情形下比ETH表现更好, 当然像iSER和NVMe-oF之类的ETH在很多方面已经超越了IB
评论
我500台+服务器的大数据公司都才80G trunk，，，，你这100G让我情何以堪啊。。。
评论
很是期待iperf数据啊
评论
很不幸的是其中一张卡用了几天之后某天突然点不亮了, 卖家倒是爽快直接给我退款, 现在还在等另一张卡, 实测得推迟
评论
那就继续等
先参考J叔的测评
PS：之后我就有理由只丢图
好事多磨
评论
没要你寄回去吧？？爆毙？？
评论
没有提, 不过我开的是Return, 不退好像有点不好意思吧, 卡还在手上
感觉是接口导致的电源连接问题, 启动后整个PCIe卡是凉的热不起来, 现在只能同机单卡双端口间随便测测
评论
我日夜都在盼你的开箱, 像我这种捡垃圾的就有几率遇到这种衰事了
评论
Mark一下，坐等J叔的iPerf跑分测评...
评论
很快了 5月之内应该是跑不了
评论
是和SSD一起吗? 高清无码大图加解说啊, 加入CHH以来最期待的开箱帖
评论
按不按原计划时间 都会是：
1. 8xM393A2K40BB2-CTD = 128g = 1546.88
2. 2xMCX556A-EDAT = 2x200G = 2300
3. 2xSSDPE2KX080T801 = 2x8T = 9466.06
这样一个组合
唯一担心的就是会不会因为特殊情况延后开箱时间
评论
楼主麻烦请教个问题呀，我的是两台win10的机器安装的是ConnectX-3_Pro网卡，用交换机连接的，已经安装了官方的驱动也设置了ipv4的ip地址，但是就是显示网络电缆被拔出，已经排除了线缆硬件的问题，请问有啥好方法解决吗，十分感谢。
评论
其实我有点好奇为啥ConnectX-5和ConnectX-4好像没差多少钱?...
双口的VPI都是$995 只有PCIE4.0的贵了$200
评论
对, 官网上直接买新品或官翻品肯定直接到位5代, 主要5代还没有大船...
评论
然后我发现Dell居然没有还没有出5EX的OEM版...难道是还没有PCI-E 4.0的机器?
评论
各家OEM里都鲜有5代的东西, 新Adpater还是集中在4代25GbE之类
评论
100G如果要拉出机柜真是线比卡贵...
评论
没办法啊, QSFP28 AOC太贵了, 屌丝玩玩短距离的就好...
评论
看来100G到桌面还是遥远了一点...
评论
大佬，我最近也打算买100G网卡，不过是用在40G交换机上，之所以买100G是考虑到差价和40G不算很大，并且刚上市山寨概率较低，目前相中100HFA016LS ，大佬觉得和迈洛斯比怎么样，另外无觉得40G、100G网卡单口应该就可以了，双扣的跑满PCIE带宽也不够啊
评论
这些VPI卡默认都走的IB, 需要设置Subnet Manager才能联通, 除非连的是IB交换机直接设好SM
安装完驱动后, 到设备管理器-系统设备里调整端口模式为ETH应该就可以了
评论
Omni-Path性价比没有Mellanox ConnectX-4的高, 另外100Gb用的是QSFP28, 40Gb是QSFP+, 端口无法直连
除非你倒过来用100GbE交换机连40Gb网卡, 这样倒是没问题, 100GbE端口交换机能拆分为25/50GbE, 也多能兼容过时的10/40GbE
评论
谢谢，那么如果网卡和交换机都使用QSFP的模块呢？
评论
不太理解你的问题点, 100G网卡要连交换机只能上100G端口及以上的, 两头都是QSFP28; 如果要QSFP+互联, 那就是40G网卡连40G或以上的交换机
评论
不是说QSFP28端口可以兼容QSFP的模块么，如果网卡使用QSFP模块和交换机互联的意思
评论
首先是QSFP+不是QSFP, 这个兼容是说单向兼容, 就是我上面说的交换机上QSFP28可以兼容卡上的QSFP+, 倒过来是不行的
评论
长知识了，谢谢指点
评论
拖了这么久终于更新了测试信息(顺带OEM版本), 还在等你可以NVMe-oF Target Offload的ConnectX-5
评论
j大，这个联想的oem版本价格确实不错，我也买了两个。
评论
对啊价格这么给力, 你是什么时候入的, 也刷过固件吗
评论
nd_send_bw别的网卡可以用吗
评论
这个是Mellanox WinOF/WinOF-2驱动里包含的Win下自家性能测试工具, 除了nd_send_bw外还有好几个, 不过你试试也无妨
2018-09-16_014948.png (234.59 KB, 下载次数: 1)
2018-09-16_014958.png (108.33 KB, 下载次数: 0)
评论
我总感觉，J叔的总线带宽快不够用了
j叔求解惑，这个双机之间的传输速度如果要测试是不是必须要落盘的？那有几个人有你这种条件的磁盘系统那不是意味着几乎是测不出你这个速度的
评论
不用的, 测试理论性能可以直接网卡间带宽
评论
就上周吧，不过买来还在吃灰中，最近忙了没时间管他了，不过真是超值了。毕竟ebay还要3k呢
评论
另外J大，你用iperf测试能到100g带宽吗？原来我40g时测试只有20，不知道咋回事
评论
iPerf2要微调参数才能100G, 我初跑差不多60G, 最后还是Mellanox驱动自带的工具比较方便, 反正就看看带宽是否正常 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收
·日本留学生活 求个大阪合租
·日本留学生活 自家房招租求
·日本留学生活 东京地区出9成新lv钱包
·日本育儿教育 孩子从国内过来如何学习日语
·日本育儿教育 明年四月横滨招月嫂
·日本育儿教育 请问咋让娃突破识字关？感谢分享中文共读和学习经验的妈妈
·中文新闻 东区明星迈克尔·格列柯，53 岁，将在第一次出生两年后第二次
·中文新闻 《爱情岛》明星卡米拉·瑟洛和杰米·朱维特在透露即将迎来第三