背景：
前篇在这里，尝试用各种报废零件拼装四盘位NAS，这个主要是具备了四盘位折腾的基础，但是性能还很有问题。
主要是这几个问题：
硬盘供电：DQ77KB是DC主板，默认只能从主板的SATA电源母口取电，总功耗受限；特别是应对四个3.5寸硬盘的启动电流有点紧张。解决办法是增加一个flex/1u电源，配合“双电源同步器”。万兆网卡：DQ77KB主板集成的是两个千兆网卡，而现在SATA单盘持续拷贝速度大多会超过100MB/s。链路聚合确实在某些特定的情况下提升速度，但是，都已经使用各种报废垃圾了，为什么还要链路聚合？肯定是直接上万兆网卡嘛。硬盘散热：影响硬盘寿命的三大因素是供电、温度和震动。C款原配风扇是2pin的，[email protected]=3W，噪音感人。
拆除：
一个小的更新，上次帖子中折腾的是A款，这次换成了C款，主要是感觉C款的机箱更结实，全铝前面板……，算了，编不下去了；主要是一时手痒又买了个C款。
C款外观
20190409_193041_副本.jpg (201.76 KB, 下载次数: 2)
尾部，这个C款是带主板和电源的。
但是主板J1900太差了，电源更是劣质，换换换
20190409_193059_副本.jpg (287.08 KB, 下载次数: 0)
打开顶盖，看看电源和后部风扇
20190606_172802_副本.jpg (272.23 KB, 下载次数: 0)
另一侧，主板和背板已经连接了SATA线
20190606_172813_副本.jpg (270.91 KB, 下载次数: 0)
拆掉原来的电源，轻，真轻
20190606_173516_副本.jpg (378.96 KB, 下载次数: 0)
C款电源尺寸：长15cm
20190606_173008_副本.jpg (293.69 KB, 下载次数: 0)
C款电源尺寸：厚度4cm
20190606_173028_副本.jpg (328.29 KB, 下载次数: 0)
C款电源尺寸：宽8cm
20190606_173044_副本.jpg (288.27 KB, 下载次数: 0)
J1900肯定也得拆，这玩意儿的性能低到令人发指，而且这主板的做工也太省了。
20190606_173935_副本.jpg (371.7 KB, 下载次数: 0)
2pin风扇也要拆
20190606_173223_副本.jpg (231.29 KB, 下载次数: 0)
拆下来的风扇
20190616_193244_副本.jpg (332.56 KB, 下载次数: 0)
拼装三大件：
先安装主板，DQ77KB+E3-1265L v2+Intel原装风扇已经合体，准备插入
20190606_174424_副本.jpg (325.89 KB, 下载次数: 0)
C款机箱的硬盘笼子也是铆死的，所以只能侧向插入。配合Intel原装的35W TDP散热器，高度没问题。
20190606_175343_副本.jpg (349.84 KB, 下载次数: 0)
完全插入，拧上主板螺丝。
20190606_185632_副本.jpg (241.48 KB, 下载次数: 0)
万兆网卡登场：Mellanox ConnectX-3 EN 10 Gigabit Ethernet NIC。
据说这是一个以色列品牌，专门生产超级便宜的万兆，四万兆等高速网卡。原厂正品的“便宜”是跟其他知名大厂相比，对于个人来说还是挺贵的。
所以为了更加便宜，本次购买的是来自淘宝的山寨网卡。
啥叫便宜？就是之前这卡只要几十元，最近被炒高了，也才2xx元。
全高、半高挡板各买了一个，用于双机互联。
标签型号为MCX311A-XCAR，是一款PCIe 3.0 4x接口，使用SFP+光纤接口的万兆以太网卡。
Mellanox的卡有两类协议，IB（InfiniBand协议）和EN（Ethernet协议），这个卡是以太网协议的。
山寨万兆网卡那么多，为什么选择这个型号？
由于DQ77KB只有4x的PCIe 3.0插槽，然后又不想将插槽切开强行插入8x长度的卡，所以物理长度必须是4x的。这个卡是ConnectX-3，PCIe 3.0 4x；其他便宜的8x卡基本都是ConnectX-2，PCIe 2.0的，电子产品买新不买旧，肯定算3.0的。由于用途只是双机互联，SATA单盘拷贝，10Gbps速度足够了，不需要40Gbps、56Gbps、100Gbps。而且速度低，温度也低。IB协议的交换机都是机架式的，EN协议的交换机有桌面型的，比如MikroTik CRS305-1G-4S+IN，准备买一个回来试试。电口万兆网卡太贵了，交换机更贵，还都是贴着发烧标签的伪万兆设备。毅然选择SFP+光口网卡。这个卡驱动丰富，官方驱动支持Windows Server 2016/2012 R2/Windows 7/10/ESXi/Ubuntu等。其他有些网卡的驱动极其有限，比如有的仅支持RHEL。
关于Mellanox卡的破解、固件互刷等，国内和国外有很多大神介绍了，有些卡IB和EN是可以互刷的。
关于万兆的物理接口主要有下面几种：
万兆电口：这个就是RJ45接口的10Gbps，物理尺寸和百兆千兆的RJ45一模一样，区别就是网线、接头什么的要比较好的质量，贵就完事儿了。SFP+：10Gbps光口。这个只是接口的规格，也叫模块，并不意味着实际的线材真的是光纤。SFP是千兆光口，SFP+才是万兆光口。QSFP+：就是4跟SFP+合体，40Gbps光口。QSFP是4跟SFP合体，也就是4Gbps光口。QSFP14：50Gbps光口。QSFP28：100Gbps光口。QSFP56：200Gbps光口。
两个和几十元的SFP+线合影
20190611_192550_副本.jpg (345.85 KB, 下载次数: 0)
网卡正面特写，看标签似乎并不是IBM或HP版，似乎是Mellanox原版？
20190611_192637_副本.jpg (397.85 KB, 下载次数: 0)
网卡背面特写，注意网卡mac地址的标签，这是个坑。
20190611_192729_副本.jpg (389.3 KB, 下载次数: 0)
SFP+接口特写
20190611_192655_副本.jpg (251.3 KB, 下载次数: 0)
SFP+网线带模块
20190611_192849_副本.jpg (286.44 KB, 下载次数: 0)
模块特写，也是Mellanox牌子的
20190611_192858_副本.jpg (241.21 KB, 下载次数: 0)
模块背面特写
20190611_192904_副本.jpg (260.22 KB, 下载次数: 0)
模块的触点
20190611_192911_副本.jpg (221.57 KB, 下载次数: 0)
线材标签
20190611_192919_副本.jpg (188.84 KB, 下载次数: 0)
半高ConnectX-3网卡插入超微5028L的X11SSV-Q的8x插槽，完美兼容。
5028L折腾帖子在这里，https://www.chiphell.com/thread-1932392-1-1.html
20190611_201001_副本.jpg (341.26 KB, 下载次数: 0)
全高ConnectX-3网卡插入蜗牛C款的DQ77KB，4x长度的插槽，完美。
20190611_202526_副本.jpg (306.39 KB, 下载次数: 0)
SFP+线插入网卡
20190611_202539_副本.jpg (258.02 KB, 下载次数: 0)
已经彻底插进去了
20190611_202544_副本.jpg (306.16 KB, 下载次数: 0)
折腾电源：
来自淘宝的换壳电源。
内部电路板型号不明，号称是正品全汉。线应该也是换了的。
20190613_195127_副本.jpg (308.04 KB, 下载次数: 0)
电源同步模块
20190613_195426_副本.jpg (287.32 KB, 下载次数: 0)
电源同步模块：正面特写
20190613_195445_副本.jpg (325.22 KB, 下载次数: 0)
电源同步模块：背面特写
20190613_195451_副本.jpg (287.38 KB, 下载次数: 0)
电源同步模块：继电器特写。
这东西原理非常简单，就是一个继电器。
使用SATA电源线连接主板和这个模块，主板就可以从主板SATA接口获取电信号了，知道主板是开机还是关机。
然后将辅助电源（第二电源）的主板24pin插到模块上。
当主板开机时，辅助电源开启；主板关机时辅助电源关闭。
这个东西很便宜，而且就是从SATA接口获取电信号后，控制辅助电源的开关，类似于用曲别针短接24pin绿线和黑线的效果。
原理简单，效果可靠，还便宜。
20190613_195513_副本.jpg (228.22 KB, 下载次数: 0)
电源同步模块背面贴点绝缘胶布，防止短路。
20190613_204828_副本.jpg (249.25 KB, 下载次数: 0)
连接DQ77KB的SATA电源母口和电源同步模块。
20190613_205744_副本.jpg (269.66 KB, 下载次数: 0)
灵魂走线了解一下
20190613_211017_副本.jpg (314.96 KB, 下载次数: 0)
起初试了一下超频三的机箱风扇，结果发现这玩意儿最高才8xx转，吹不透。
没办法，只能祭出大镰刀。
20190616_115525_副本.jpg (332.35 KB, 下载次数: 0)
风扇正面
20190616_115727_副本.jpg (284.1 KB, 下载次数: 0)
风扇背面和固定螺丝
20190616_115705_副本.jpg (317.12 KB, 下载次数: 0)
风扇型号：零售版GT3000-P，不是工业版。
20190616_115720_副本.jpg (197.1 KB, 下载次数: 0)
全部合体，1u电源和DQ77KB的电源适配器都接好了，准备开机。
20190613_211531_副本.jpg (213.81 KB, 下载次数: 0)
超微5028L装入WD 10TB硬盘
20190606_193658_副本.jpg (320.78 KB, 下载次数: 0)
20190606_193708_副本.jpg (400.42 KB, 下载次数: 0)
20190606_193745_副本.jpg (308.94 KB, 下载次数: 0)
测速：
5028L和DQ77KB都开机后，两块万兆网卡都能正确识别。
操作系统是Windows Serve日 2016，微软驱动就可以用，当然也可以安装一下Mellanox驱动。
但是配置了IP地址后，两块卡竟然无法ping通。
问了商家，商家说还需要运行opensm之类的，结果实践证明根本不管用。
然后又到水区咨询，https://www.chiphell.com/thread-2005663-1-1.html
结果被高人看出来，这两个网卡的mac竟然一模一样（跟网卡上的标签不一样）。
于是在驱动中手动修改了其中一个网卡的临时mac，总算可以ping通了。
至此商家还坚称这是原厂卡，好吧，也许真是原厂的，但是肯定被人破解或刷过固件，而且普通刷固件永久mac应该是不会变的，估计是特殊破解。
不过这个卡现在确实可以安装官方驱动并在装驱动时自动更新官方固件，还是挺牛的。
5.PNG (43.04 KB, 下载次数: 0)
两个网卡的信息合照
a03.png (69.4 KB, 下载次数: 0)
iperf3体验一下
3.jpg (308.91 KB, 下载次数: 0)
通过万兆网卡拷贝文件时的效果，此时并未开启RDMA，所以任务管理器中可以看到网络速度。
4.PNG (410.49 KB, 下载次数: 0)
刷mac地址：
就算网卡是山寨的，华强的，有**座情节的人还是想把mac地址改成和网卡标签一样的。
这个卡有永久mac和临时mac，在操作系统中通过驱动只能修改临时mac；要修改永久mac还得另想办法。
搜索了一圈，国内的网站和论坛对于万兆网卡都语焉不详，犹抱琵琶。
算了，直接去STH发帖求助吧，https://forums.servethehome.com/ ... ddress-issue.24790/
很快就有热心的老外给出了具体的命令，实测很管用。
根本不用刷固件，更不用二进制修改固件什么的，直接运行几个命令就能修改永久mac，当然也要修改下网卡的GUID。
到Mellanox官网下载MFT（Mellanox Firmware Tools）工具箱并安装，Windows 64位版实测在Windows Server 2016下运行正常。
Mellanox真的好用啊，对Windows支持非常完美。
进入“C:\Program Files\Mellanox\WinMFT”文件夹，运行命令：先用mst命令看一下网卡的pci信息：
mst status -v
回显：
MST devices:
------------
mt4099_pci_cr0 bus:dev.fn=01:00.0
mt4099_pciconf0 bus:dev.fn=01:00.0
================================
运行flint命令结合pci信息查询固件信息及mac地址：
flint -d /dev/mst/mt4099_pci_cr0 -qq q
回显：
Image type: FS2
FW Version: 2.42.5000
FW Release Date: 5.9.2017
Product Version: 02.42.50.00
Rom Info: type=UEFI version=skipped cpu=skipped
type=PXE version=skipped devid=skipped cpu=skipped
Device ID: 4099
Description: Node Port1 Port2 Sys image
GUIDs: 0002c90300056aa8 0002c90300056aa9 0002c90300056aaa 0002c90300056aab
MACs: 0002c9056aa8 0002c9056aa9
VSD:
PSID: MT_1170110023
================================
运行flint命令修改mac地址：
flint -d /dev/mst/mt4099_pci_cr0 -mac E41D2D6DB6B0 sg
回显：
-W- GUIDs are already set, re-burning image with the new GUIDs ...
You are about to change the Guids/Macs/Uids on the device:
New Values Current Values
Node GUID: 0002c90300056aa8 0002c90300056aa8
Port1 GUID: 0002c90300056aa9 0002c90300056aa9
Port2 GUID: 0002c90300056aaa 0002c90300056aaa
Sys.Image GUID: 0002c90300056aab 0002c90300056aab
Port1 MAC: e41d2d6db6b0 0002c9056aa8
Port2 MAC: e41d2d6db6b1 0002c9056aa9
Do you want to continue ? (y/n) [n] : Y
Burning FS2 FW image without signatures - OK
Restoring signature - OK
================================
运行flint命令修改GUID：
flint -d /dev/mst/mt4099_pci_cr0 -guid 00E41D2D6DB6B0 sg
回显：
-W- GUIDs are already set, re-burning image with the new GUIDs ...
You are about to change the Guids/Macs/Uids on the device:
New Values Current Values
Node GUID: 0000e41d2d6db6b0 0002c90300056aa8
Port1 GUID: 0000e41d2d6db6b1 0002c90300056aa9
Port2 GUID: 0000e41d2d6db6b2 0002c90300056aaa
Sys.Image GUID: 0000e41d2d6db6b3 0002c90300056aab
Port1 MAC: e41d2d6db6b0 e41d2d6db6b0
Port2 MAC: e41d2d6db6b1 e41d2d6db6b1
Do you want to continue ? (y/n) [n] : y
Burning FS2 FW image without signatures - OK
Restoring signature - OK
================================
再次运行flint命令查看并确认网卡mac地址、GUID已经更新：
flint -d /dev/mst/mt4099_pci_cr0 -qq q
Image type: FS2
FW Version: 2.42.5000
FW Release Date: 5.9.2017
Product Version: 02.42.50.00
Rom Info: type=UEFI version=skipped cpu=skipped
type=PXE version=skipped devid=skipped cpu=skipped
Device ID: 4099
Description: Node Port1 Port2 Sys image
GUIDs: 0000e41d2d6db6b0 0000e41d2d6db6b1 0000e41d2d6db6b2 0000e41d2d6db6b3
MACs: e41d2d6db6b0 e41d2d6db6b1
VSD:
PSID: MT_1170110023
================================
最后别忘了重启电脑，才能彻底生效刚才的修改。复制代码
在将永久mac修改为和网卡标签一样之后，竟然自动启用RDMA了。
这是A机三块硬盘向B机三块硬盘同时拷贝数据时的效果，资源管理器可以看到文件的拷贝速度，但是任务管理器中网卡已经不显示速度了，据说这就是开启了RDMA的效果。
什么是RDMA：借用翼王一句话，就是从一台电脑向另一台电脑的内存直接怼入数据，所以网卡就不显示速度了。据说可以降低CPU占用率，提高系统流畅度。
10.PNG (304.26 KB, 下载次数: 0)
小结：
终于体验了万兆网卡，原来万兆离我们并不远，无论价格还是发热量，都是可以家用的。
RAID还是SATA单盘：我选择SATA单盘。因为RAID只能降低硬盘硬件故障造成的损失，并不能降低人为操作或病毒造成的损失。
成品NAS还是组装：我选择组装，而且是采用Windows宿主的组装机，因为这样的NTFS格式单盘，可以随时插拔，随时交换，各种方便。而成品NAS或做成RAID、ZFS、存储池等，就没办法直接交换硬盘了，灵活度大大降低。
多台存储还是单台存储：我选择多台，一处是MicroServer Gen8+超微5028D，另一个处是超微5028L+蜗牛DQ77KB。两处都各有一台7*24开机，也各有一台按需开机做冷备份。7*24开机的，异地之间使用SyncTrayzor（https://github.com/canton7/SyncTrayzor，开源，windows图形界面），不需要将文件上传至某个中心化服务器，两点之间直接同步。采用p2p技术，暴力占满带宽，同步效率很高。本地采用robocopy命令（Windows内置）同步。
评论
666666,还是用我的垃圾HP NC550SFP吧，便宜够用
评论
测试一下e3 1265lv2非RDMA和RDMA下最大网速和cpu占用吧？
我挺关心这个的
毕竟我的nas马上又要重新服役了
不知道这次升级e3 1220v3之后能带动多少网速
评论
说的很细致，好文章，学习了。
评论
很久以前纠结dq77kb 硬盘电源支持太差，现在一个小配件就解决这个问题了。
这样我压箱底的 亚马逊 dq77kb 又能拿出来用了
评论
请问如何禁用RDMA？
评论
MCX311A-XCAR是ConnectX-3 EN MCX311A-XCAT老版本, 而CX-3 EN本身已经是EOL了, 现役产品线最低是ConnectX-3 Pro
2019-06-16_214335.png (270.35 KB, 下载次数: 0)
Mellanox虽然是以色列公司, 制造也是在以色列, 不过后面背景和米国联系紧密, 创立者包括牙膏厂在以色列的前VP
他们生产的东西其实并不便宜, 交换机方面知名度当然不如Cisco响亮, 但在RDMA网卡和HPC领域是全球领先的网卡公司
当家产品是IB/EN VPI网卡, 全球HPC的IB互联基本都和Mellanox有很深的合作关系, 这也是Intel/Nvidia现在打收购战的原因之一
Mellanox在Support文档方面无人能敌, WinMFT, mlxfwmanager和Flint功能十分强大, 不是网络工程师也可以照指南自行配置
https://www.chiphell.com/thread-1840250-1-1.html
评论
不知道。。
评论
不退役的产品都太贵……
评论
之前1500人民币的Lenovo OEM版ConnectX-4 VPI MCX456A-ECAT 2*100GbE还贵?
评论
我有3块Intel X520 10G单口 SFP+,按你的说法如果支持RoCE,那很值得换2张试试呢.万兆交换机我的是H3C S5130S-28S-SI,刚去重温了翼王那个视频.能支持RoCE,值得一试.
微信图片_20190616221656.jpg (302.07 KB, 下载次数: 0)
评论
X520不支持RDMA, 牙膏自家RDMA网卡有Omni-Path和已死的iWARP(X722), 和唯一支持厂商Chelsio是一路但和Mellanox的RoCE是不一样的
评论
X520,现存最大问题就是同一文件,多次测试传输速度都会不同.观察最多的是从NAS往电脑回传数据,有时候速度会很低.如果抛开CPU和OS,启用RDMA的话,也许会有一个提升.
评论
不管速度是多少，从当年10Mbps升级到100Mbps，再升级到1Gbps，只能接受几十元的网卡。考虑到通胀，这次终于上了2xx元的网卡
评论
J叔,用这家的卡使用RDMA测过同样的文件,来回多传几次能看是稳定跑满还是会有降速的情况嘛?
看你的硬件感觉可能不会遇到我这种低端问题,哈哈.
评论
你这个柜子的房间住人吗
评论
32g内存，ddr3可以16g*2了？
评论
被你勾引的入了两张 Mellanox connectx-3 pro MCX311A-XCCT ,下个周末试试性能.主要看中了这里.
评论
在客厅,挨着我的电脑桌,还好拉.
主要我的大奶机,14个EK evo声音比较大,这个没什么声音.
评论
这个很想买，实话说，但是……
确实贵，一般家庭用户会实在是不会花1500元去买网卡，而且还得买交换机……
对于很多人来说，感觉ConnectX-2的那个100元的万兆光口还是可以的。
没办法，不是企业级用户。想买买不起……哎……
评论
现在无标签的MCX455A不都三位数有交易了...
评论
我用的是博通的57810A电口网卡，现在想买个交换机，在威联通、ubnt和之间纠结。威联通的好处是有8个电口，ubnt的只有4个电口
评论
这个要mark下备用
评论
来来来，网卡pm个地址
评论
又见楼主新玩具，楼主不是存储就是虚拟化，最关键的是用的基本（基本、基本，重要的词说三遍）上是二手货低端拼凑，性能却不差，牛人呀。。。
评论
这个卡我也买了一张，单口只要160多………
评论
蜗牛的背板太寒碜了
评论
可否PM一下网卡购买地址？
评论
支持折腾，折腾了服务器。。。到现在还是一个硬盘盒的角色。。。也想好好利用一番。
评论
淘宝搜索MCX311A就行，160的都没货了，最低240。
实际测试下来，正是因为简单，在DQ77KB的BIOS中开启SATA热插拔，完美支持在windows server 2016中的热插拔，非常好用。
评论
买的早就是便宜，现在160都没货了，最低240，估计后期还会涨。这是目前最便宜的PCIe 3.0的万兆卡了。
评论
从DQ77KB 流入国内开始看楼主的帖子
不夸张的说 你是CHH 上NAS和网络领头羊啊
评论
不是有双口ConnectX-3卖吗，据说是广达拆机货，300不到的价格
评论
过奖了，chh人才济济，我只是喜欢折腾而已。
评论
双口的ConnectX-3都是40Gbps或56Gbps的吧，性能太猛，温度分分钟超过100C；而且是PCIe 3.0 8x的。
评论
ConnectX-2，因为早就EOL，官方驱动装起来有点问题，微软自带似乎跑不满。淘宝关键字搜ConnectX-3，单口的190，还有双口的290。我有个疑问，如果双口卡接到pcie3.0 x4上会是怎样？
评论
不是，每口10G，你可某宝搜索一下！
评论
跟大佬一样的思路，我入的A款，双电源启动器都一样~~~
只是网卡用的I350-T4
评论
搜了下， ConnectX-3的话，MCX311A是单口的，最低找到了240的。
双口的貌似是MCX312A吧，最低也要450啊，哪里有290的呢，有型号关键字吗？
PCIe 3.0 4x的理论速度为3.94 GB/s，粗略折合约32Gbps，理论上应该是够用的。
不过我只需要SATA单盘拷贝，最大速度才2xx MB/s，单口万兆足够了，没必要双口万兆聚合。双口网卡发热量也更大。
2019-06-17 15 01 22.png (293.31 KB, 下载次数: 0)
评论
双口的是mcx312
评论
其实C款的硬盘笼是可以卸的。。。后面两颗螺丝 其它螺丝把前面板卸掉就能看见了
我就是把后面螺丝卸了把200GE原装散热器塞进去的
评论
JS说190这种是OEM版本的，还带壳子。固件应该可以通刷吧？
Snipaste_2019-06-17_15-39-17.jpg (239.25 KB, 下载次数: 0)
评论
嗯，目前找到的MCX312A最便宜是4xx的，没有300之内的。
评论
我下了290那个双口的MCX312，等我吃螃蟹，或者有坑的话赶紧告诉我
评论
终于看到这个价格的MCX311和MCX312了。两个问题，一是为啥商家的宝贝图片都完全看不到卡的型号，什么标签的照片都没有，而且型号也都少写了末尾的“A"；二是为啥只有这个价格的卡是带铠甲的，难道是特别品牌的OEM？
评论
终于明白为什么之前一直没有搜索到了，因为我搜索的关键字是“MCX311A”，所以淘宝没有匹配出来MCX311。
很多Mellanox的IBM、HP的OEM卡是可以通刷成标准版的，使用flint命令的参数“-allow_psid_change”就可以从OEM的psid改为标准版的psid，具体见这个帖子
https://forums.servethehome.com/ ... tock-firmware.8689/
但这个商家的卡是否可以通刷要跟商家确认，如果确实可以通刷成标准版的话，这个价格确实便宜。如果不能通刷，这卡基本就是废物。
评论
反正卖家承诺说可以刷官网固件，不能刷就退呗。淘宝上还有种MCX341A-XCPN插服务器专用口的才40块钱，要是有转接卡能转成标准PCIE就有性价比了
评论
卖家连RDMA都写错, 还有我看这么多人写了评价却没见人拍一张背面的PN截图...
根据第一位评价的截图, 290元的MCX312被卖家刷成了ConnectX-3 Pro MCX312B-XCCT
正常来讲Flint命令刷零售版固件必须要找准OEM对应的零售版PN号, 所以要么卖家越级刷Pro版固件, 要么这个卡本身就是ConnectX-3 Pro
在看到正背面之前, 还不好判断这是ES版, OEM版还是中国华强北版
评论
还是J叔老道，下午问了那几家都不给标签和拆壳图，可能是有套路
评论
严重同意，期待看到这个卡的标签照片。
eBay上的IBM和HP的OEM版都是不带罩的，而且宝贝图片都会有FRU。
评论
290的我退了。各位大佬说得对，这卡有猫腻，问卖家拆过壳子还可不可以退，回复不可以，估计又是弄个易碎贴防拆的套路，里面八成是个华强北货，ebay上的也是同样广东卖家，图都一样的。
评论
个人觉得双口万兆卡不实用：单硬盘的话一个万兆口也够用了，RAID的话直接上更高速的单口卡，比如40Gbps或56Gbps甚至100Gbps的单口卡。
评论
支持RDMA的交换机，有什么呢？
评论
评论
可以看看这个帖子，https://forum.mikrotik.com/viewtopic.php?t=130474
有mikrotik官方对CRS3xx系列交换机支持RDMA的回复。
大概意思是CRS3xx系列交换机在其所有端口上提供Layer2转发。由于RoCE协议使用L2以太网报头封装，因此CRS3xx交换机可以转发它，但不支持优先级流控制（IEEE 802.1Qbb）。还请使用过的高人帮忙确认是不是这个意思。
Snapshot 2019-06-17 215255.png (128.79 KB, 下载次数: 0)
评论
这种东西就不用打码了吧。
发个无码高清的正面和背面的图片看看。
你这个卡是8x的ConnectX-3 Pro，而且似乎是双口卡有一个空焊了。
评论
要看背面和上机跑mlxfwmanager和Flint Query之类的命令读取卡的细节, CX-3 Pro单口10GbE对应的零售版PN号是MCX311A-XCCT
评论
试了下mlxfwmanager，竟然提示“No matching image found”，而且部件号显示为“MCX311A-XCA_Ax”，请问这是怎么回事？
2019-06-18 09 34 44.png (53.79 KB, 下载次数: 0)
评论
我靠,居然看到陈一发了,握握手带壳子那种卡很可能是淘宝几十块钱那种广达拆机万兆模块转接的，比如40块钱的单口CX341A-XCDN，JS不愿意多说，后面不搭理我了。华强北yes，一切皆有可能
TB2QKZnrGAoBKNjSZSyXXaHAVXa_!!716781.jpg (133.16 KB, 下载次数: 0)
Snipaste_2019-06-18_16-09-30.jpg (111.21 KB, 下载次数: 0)
评论
还有40元的万兆网卡，能直接买回来用吗？
评论
显示No matching image found完全正常啊, 意思是没有固件更新了, 2.42.5000最新了吧
_Ax是正确的, 看我那个帖子里的截图 https://www.chiphell.com/thread-1840250-1-1.html
如果要查看底细, 可以试试WinMFT下的mlxburn命令查询VPD(Vital Product Data), 如果OEM只刷了固件的话还会留下痕迹
评论
试了mlxburn，不成功啊，提示“Wrong VPD format”
C:\Program Files\Mellanox\WinMFT>mst status
MST devices:
------------
mt4099_pci_cr0
mt4099_pciconf0复制代码C:\Program Files\Mellanox\WinMFT>mlxburn -d mt4099_pciconf0 -vpd
-E- Failed to Read VPD: -E- Wrong VPD format
child process exited abnormally复制代码C:\Program Files\Mellanox\WinMFT>mlxburn -d mt4099_pci_cr0 -vpd
-E- Failed to Read VPD: -E- Wrong VPD format
child process exited abnormally复制代码
评论
那应该排除掉OEM了
评论
为什么？
搜索了一下，似乎很多老外也说CX311（单口万兆）不支持profile/configuration的问题，应该是这个的config功能被损坏了或或者根本就没有config功能。
评论
看我那个帖子里, OEM只是刷了固件的话肯定会在VPD那里留下痕迹的, 之前以色列寄过来那块是无法查询到VPD, 不过我的显示No VPD was found
评论
感觉这卡应该是被破解过，说不上是哪种破解或破解了什么，但是感觉不像是正式零售版。
reset配置会提示应用并重启：
mlxconfig -d /dev/mst/mt4099_pciconf0 reset
Reset configuration for device /dev/mst/mt4099_pciconf0? (y/n) [n] : y
Applying... Done!
-I- Please reboot machine to load new configurations.复制代码但是重启之后依然无法修改LINK TYPE，会提示“Device doesn't support”
mlxconfig -d /dev/mst/mt4099_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2
Device #1:
----------
Device type: ConnectX3
Device: /dev/mst/mt4099_pciconf0
Configurations: Next Boot New
-E- Device doesn't support LINK_TYPE_P1 configuration复制代码
评论
我的卡也到了.去官网爬文
https://community.mellanox.com/s ... windows-environment
看了,要开ConnectX-3 pro的RoCEv2 ,交换机需要支持全局暂停或者PFC.这个成本就上去了
这成本太高了.如果双机互联,我要它何用...感觉该退了.不知道我是不是理解的对,可以问问J叔
评论
J叔.如果要在ConnectX-3 pro上启用RoCEv2.对交换机要求还蛮高的.
搜了一下H3C带PFC的交换机,都是数据中心级别的,感觉要凉了啊
评论
你这个是ETH卡吧那是转不了的, VPI卡可在IB和ETH之间互转
评论
这些Mellanox卡我一直都只推荐走DAC铜缆直连, 像100G买交换机的话家用环境距离远了不太实际, 线比卡贵多了
如果真要上交换机我建议eBay上一步到位Dell EMC Z9100-ON, 32口100Gb可拆分50G/25G或者40G/10G, 噪音在同级别里面不算特别大
这样的话把交换机和所有的互联设备放在一个地方直连, 成本也会低一些
评论
我有个带万兆简单的接入层交换机,也没想上100G的卡,这才买了2张MCX311A-XCCT 嘛,是ConnectX-3 Pro的10G版本.本想能不能通过交换机来实现RoCEv2
刚去官网爬文发现基本凉了啊
HowTo Configure RoCE in Windows Environment (Global Pause)
HowTo Configure SMB Direct (RoCE) over PFC on Windows 2012 Server
这交换机根本不是家用买买的,感觉自己就像捡了个鼠标垫要配台电脑...我还是继续老实用我的X520好了
评论
接交换机本来考虑得要复杂多了, 一般支持RDMA的交换机以淘汰下来的40Gb大船为主, 因为是已经过时的老产品噪音好像都挺大的
评论
你全闪存了吗，全闪存了可以用vSAN
评论
淘宝卖这么便宜，他们肯定是按垃圾收过来的，然后有人做出了转接卡，成本都在转接卡和壳子上。所以我觉得如果真是服务器拆下来的，不一定不能用，就是不值那么多钱。我在咸鱼的发现基本证实了我的想法，不过淘宝上我只看到有卖单口CX341的，没见到双口CX342。下面那一、三图是咸鱼的：
Snipaste_2019-06-19_02-15-211.jpg (217.6 KB, 下载次数: 0)
ConnectX-3-EN-Dual-Port-for-Open-Compute-Project-OCP_edited__26770.1516310992.png (159.39 KB, 下载次数: 0)
O1CN01vBcjcX22XaTeqrzMh_!!0-fleamarket.jpg_728x728.jpg (105.69 KB, 下载次数: 0)
O1CN018cNdOs1g3QqEf92GK_!!0-rate.jpg (344.71 KB, 下载次数: 0)
O1CN01BVPsAq1g3QqIr1fQP_!!0-rate.jpg (323.65 KB, 下载次数: 0)
评论
口水……没时间折腾
评论
要是能搞定这个转接卡，某宝上一堆拆机ocp网卡，阵列卡啥的可就盘活了。。。
评论
这种卡能用在黑苹果上吗，有没有对应的驱动？
评论
不错不错，原先定的也是楼主这种配置，不过因为主板电源和硬盘供电问题，一时放弃了，没想到柳暗花明看到楼主这贴，看来可以重启计划了
评论
现在是壳子和转接卡，哪儿有
还有，这个模块的接口，叫什么啊，我找都没地方找去
我弄了个这个，果然，还通用
https://www.chiphell.com/thread-2170849-1-1.html
评论
吓的我赶紧买了两张
之前买的connect x2，没有rdma，杯具
评论
同款网卡，这张卡在我的N54L上面插上bios就不引导，拔了又正常，真的是心累
评论
大佬，你的这个sfp+线能不能pm个地址啊？我已经买了这个网卡。
评论
搜索“光纤线SFP+ 3米 多模 带光模块Mellanox万兆 网卡10Gb连接线”
评论
哈哈，谢谢大佬的回复，我昨天专门搜索关键词：Mellanox SFP+线，也找到了。昨天已经下单了。
哈哈，我这次是把家庭的网络直接跃过千兆了，直接升级成万兆了。谢谢大佬的文章了，我基本上都看了几遍了，收获很多。谢谢大佬， 非常感谢 了
评论
今天拆下来了。大家看一下，正常不。
评论
CX341A OCP转PCIE转接卡淘宝有人卖了：https://www.chiphell.com/thread-2196972-1-1.html
CX341A+转接卡，算上运费成本120，垃圾佬可以下手了
评论
高科技产品，真正的高科技
评论
这价格喷了，我直接买个js拼好的cx341不好吗，还有保
100大洋还拼好的cx341哪有？你是说的那个MCX311吧。你都不知道JS装的的是哪个版本的卡
Snipaste_2020-03-08_16-17-15.jpg (86.03 KB, 下载次数: 0)
。JS卖一个128，自己组装95，有保无保无所谓，多买一片341弄坏我还能再换一片。
评论
请问有大佬测试了 pcie 2.0 x8 的双口万兆卡，插到 pcie 3.0 x4 的效果如何？
评论
N54L不能用啊，我还想买的
评论
马云家买的CX341A改双口的，插上主板能识别，但是右下角会有个弹出网卡的提示，就像拔出U盘那样的提示，重装了系统也有，安装官方驱动也有，不知道怎么搞了，这要是用的时候不小心点到，还是个麻烦事啊，主板BIOS里也没有热插拔的选项，关了INTEL的RST也有那个提示
评论
N54L用intel的x520，亲测，很稳定，半年了没重启过没掉线过
评论
这个成本有点高
评论
还好吧。200多块
评论
有没有用过mcx312的，在esxi，unraid这种两个网口能拆分嘛，拆分了刚好宿主机一个黑群晖一个，之前买的ocp转接加焊的只有一个硬件id，没法拆分
评论
没用过双口卡
评论
大佬做的好！我买的一块一样的卡，好贵
评论
大佬有测试过这个交换机功耗和声音吗？？ 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收
·日本留学生活 求个大阪合租
·日本留学生活 自家房招租求
·日本留学生活 东京地区出9成新lv钱包
·日本育儿教育 孩子从国内过来如何学习日语
·日本育儿教育 明年四月横滨招月嫂
·日本育儿教育 请问咋让娃突破识字关？感谢分享中文共读和学习经验的妈妈
·中文新闻 东区明星迈克尔·格列柯，53 岁，将在第一次出生两年后第二次
·中文新闻 《爱情岛》明星卡米拉·瑟洛和杰米·朱维特在透露即将迎来第三