没有40G经验
没有40G交换机
没有40G的光纤模块
没有40G的DAC线
没有任何检测设备，甚至没有第二块40G卡替换
很悲惨的，为了省钱只能买二手HP贴牌的Mellanox卡，得刷固件才能用。
但我满怀对探索电脑的热爱，有多年洋垃圾折腾经验，还有敢于吃螃蟹的精神！很关键的，我已经拥有一个60人民币买来的40G到10G的Mellanox转接头，它是我唯一的工具。
摸着石头过河的方式，先买一个40G网卡，装装接头转成10G的DAC线接上交换机能用能跑满10G，那说明这卡问题不大，那时就再买两个同样的40G卡回来，订三根40G的DAC线，开始三机六口三线环形互联，三个子网，本地hosts文件改改，multi-homing一下。
不折腾，怎么继续混CHH呢？
下面开始乞丐版40G网络构建过程，每日更新一次。
2月2日，标HP 649281-B21的双口网卡收到，插上40G转10G接口，DAC线接上交换机，显然交换机和网卡的灯都不会亮。Mellanox卡贴上了HP牌子，便宜100块卖，肯定要有区别啊。安装mellanox mst工具， 保存卡上的firmware和rom，再刷上官网标准版本的firmware，HP卡就变回了mellanox原厂卡。HP 649281-B21就是Mellanox原厂的MCX354A FCBT。检查接口类型是vpi模式，网络设置下重启机器，该卡就以网卡的形式工作了。iperf和另外一个机器跑一下，跑满了10G。目前只有一张卡，只能测到这里了。
接上转接头的卡插普通10g的DAC线，是这个样子。接头的大小和RJ45电口比，就是高大上啊。
40gcard.jpg (210.36 KB, 下载次数: 0)
上某宝，和卖洋垃圾二手货的谈下价格，再买多两张同样的卡。都已经买不起交换机了，有卡没线肯定不行啊，咬咬牙跺跺脚下周不吃晚饭了，省钱买三根40G的Mellanox QSFP DAC线。
2月3日，收到了第一根DAC线，硕大的QSFP接头很不错。有了一个双口卡和一根线，尝试是否一台机器上用双口卡两个口对接以后直接跑。尝试以后基本确认，Linux里这么做需要设置NAT来忽悠内核，整个测试等于最后不是测网卡网线，是测NAT的性能。继续等待接下来的线和卡。
wx_camera_1517642359935.jpg (104.52 KB, 下载次数: 0)
2月4日，收到了另外的线和卡，装上一块以后双机back to back互联iperf测出来能跑28G，看来得折腾下设置争取跑个35G以上。当然这不难也不重要，今晚得折腾下网口哪个是哪个的问题，整理清线缆把三台机器连接起来。
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[ 4] local 10.0.1.1 port 5001 connected with 10.0.1.2 port 48070
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 32.7 GBytes 28.1 Gbits/sec
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------
[ 4] local 10.0.2.1 port 5001 connected with 10.0.2.2 port 53868
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 30.5 GBytes 26.2 Gbits/sec
复制代码
2月4日晚更新：已经完工，三机带宽良好且零噪音。
家里的workstation都是用来干活的，一台有接显卡和显示器，另外两部无头工作站，网线是唯一与外界的互联通道。双口80G的总带宽，确保了日常探索CS的硬件基础，在家玩电脑，永远是宁可装备等人、绝对不能人等装备。
cards.jpg (181.56 KB, 下载次数: 0)
评论
会玩
期待上图交个大作业
评论
期待多蛋哥的大作
评论
我裤子都脱了却见不着一张实物图片
评论
只有一个40G转10G转接头，但是是Mellanox的，60块一个。唯一实物。
明天收到卡，开始刷固件，折腾。
评论
评论
支个帐篷等这看！
评论
搬好板凳 看戏 另外等后排出瓜子
评论
没有瓜子也坐等
评论
DYI就是折腾无极限！
评论
兄弟，可以的！！
评论
板凳准备好
评论
第一张40G网卡昨天深圳发货，今天下午三点从顺丰上海浦江集散中心发出，如果不出意外，今晚可以收到。
晚上来更新
评论
已经更新，至今未翻车
评论
楼主加油
评论
真是会折腾啊
评论
得陇望蜀
评论
这工程完工后108个核心就联一块儿耍了，这得何等的壮观
评论
楼主的这波操作我服
评论
QQ截图20180203085216.jpg (53.77 KB, 下载次数: 0)
听说楼主还差几个光纤模块
评论
马上就5G无线网络了，听说下载速度达到100M/S呀? 那么，有线速度又能达到多少呢！
评论
何必呢？说了是乞丐版40G以太网。
用了光纤模块，还算乞丐版吗？
评论
已更新今天折腾的内容
希望明天能第一次双机双卡back to back测下带宽。
评论
楼主我有个低成本实现全万兆电口想法，x540-T2+有两条pci-e的主板，然后刷上openwrt、lede之类的X86软路由系统，这不就是万兆电口路由器/交换机了么。这个适合老房子已经有六类线的，光钎线路没实际动手施工过，感觉铺线不是蛮方便。网件有个全电口8口千2口万的，国行两千块，亚马逊大概一千二多点，我需要三到四个万兆电口，要不就买了。
评论
10G不需要那么复杂，买一个华为S1720，全新带保修是1400包邮，机器全静音四个光口10G，买DAC线连接，每根35块，网卡用Mellanox的10g卡，110一张。自己折腾10g交换的话，vyos是速度最快的。但40G就别想了，vyos的作者在论坛有明确回答。10G开始，电口已经没有意义了。我也纠结过，但一步步走来，电口不是没有意义，是完全没有一点点意义，价格上、兼容上、选材范围上。有一个常见误解，就是用光口得用光纤+光模块，其实非也，至今我没有买过用过一根光纤一个光模块，二手DAC线搞定一切。
最关键的，我这个方案，40g双口卡三机三线环形三子网直连，两两机器间的理论带宽是80G，毕竟我是108核互联。
评论
dac线是啥。。。
家里暗装的网线还是没办法吧
评论
重新装修，换光纤和DAC线
评论
明显不可能
评论
开个玩笑。
对，就那样，但没有一点点光，只有铜。
评论
pc和nas直接都装个光/电万兆卡走明线互联不过交换机行不一个房间里面，哪种成本低
把交换机移动到你的pc和nas旁边，买华为s1720，全部用DAC线。s1720不大，实在不行把它仍桌子底下。
这样最实际。
评论
。。我觉得好不划算啊。。。就只连两设备的话买个这玩意。特别是如果设备搬旁边，我直接端口聚合不就ok了。。。
评论
每个人需求不同，得自行决定。
我也聚合，10g的也可以聚合，但还是太慢，所以来40g的，我的装法本质上40g双口带宽聚合。
评论
我就是为了解决1g的内网瓶颈。。
从没pc直接互联过，不知道怎么操作，对外网有没有影响。。。
然后就是万兆电口网卡成本低还是万兆光口成本低
评论
光口成本远远低于电口，光口万兆交换机二手有350一个的。
满足你所有要求：
https://group.jd.com/thread/20000001/21080456/20000095.htm
现在没有任何问题了吧？
评论
没，不能聚合。。。
评论
我自己用balance-alb或者叫mode 6的，不需要任何交换机支持，双口卡设置下，就能跑出单口线速两倍的效果。但得两个连接才可以。
你们那种高级的，估计是需要交换机支持的，一个连接就可以的。我没有玩过。
评论
问题是。。哪有40G网络啊。。
只有千兆。。
评论
你说的dac线 我估计就是模块+光纤一体线，还有在别的帖子都看见你说单机双口卡三机互联了的，你那是机器挨的近，我是三个机子在三个房间，不好走明显，我铜线用的amp 23线规的六类，电口万兆肯定没问题的，也不像你那么高要求，我只要局域网能比8t硬盘速度高就行了，大概就是200m出头的实时速度。
评论
这个太贵了，网件的八口千电+2口万电美亚才199刀，省出来一个单口x540的钱了。
评论
DAC线全铜无光，所有短距离延迟比光纤模块加上以后要好，毕竟没有光电装换。
我所有机器的确是在一个小书房里。各人实际情况不同，所以得自己根据自己家里的情况具体分析布网的需求。新装修依旧是布光纤为好，传统网线已经没有任何意义了。
评论
今日进度已更新。今晚争取把所有设置搞定。
评论
搞定了，把以前10g这样组网的配置文件找出来应用后直接可用了。
现在就是设法跑满这样的网络了。 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01
·日本留学生活 求个大阪合租
·日本留学生活 自家房招租求
·日本留学生活 东京地区出9成新lv钱包
·日本育儿教育 孩子从国内过来如何学习日语
·日本育儿教育 明年四月横滨招月嫂
·日本育儿教育 请问咋让娃突破识字关？感谢分享中文共读和学习经验的妈妈
·中文新闻 东区明星迈克尔·格列柯，53 岁，将在第一次出生两年后第二次
·中文新闻 《爱情岛》明星卡米拉·瑟洛和杰米·朱维特在透露即将迎来第三