关联
U.2 SSD科学连接方式之Intel A2U8X25S3PHS + Super Micro AOC-SLG3-4E4T
Samsung半导体官网的一些新Enterprise SSD型号
企业级SSD大船早已回不去2019盛世年的0.5元/GB, 只剩一些PCIe 4.0型号尚存吸引力, 如P5800X/P5600/P5510, PM1735/PM1733等
当中AIC/HHHL或M.2这两种只要平台支持Gen 4, 插入PCIe插槽/M.2口即可, 加上M.2 Gen 4目前只有消费级
唯独2.5" U.2 SFF-8639这个数据中心使用最多的Form Factor最最麻烦, 原因在于
1) Gen 4无交换芯片的纯HBA卡市面上基本不存在, 超微前不久在官网更新了AOC-SLG4-4E4T和AOC-SLG4-2E4T, 是接下来的首选
如下图AOC-SLG4-4E4T x16 HBA有两个SlimSAS SFF-8654 PCIe 4.0 x8接口, 可各自接2块PCIe 4.0 x4 SSD
2) 服务器用Gen 4 Drive Bay市面上也基本不存在, 所以像Intel A2U8X25S3PHS这类笼子后面的背板电气性能是否能满足Gen 4?
3) 另一种比较简单的SFF-8639 -> PCIe x4插槽转接卡也都是Gen 3产品, 兼容性有没有问题?
4) 还有一个比较传统的方法就是SSD通过SFF-8643线接到主板U.2口或含交换芯片HBA/RAID卡的SFF-8643口, 同时通过大4Pin或SATA供电
5) 最后一种比较Low但也是不少人采用的连接方式, 也就是U.2 SFF-8639 -> M.2转接线, 同时通过大SATA供电
这次主要验证2和3, 前者是数据中心主流连接方式, 后者简单快速无需线材插入即可使用
第4种已经有网友验证可行, 最后一种转接M.2一般有性能损失并不推荐
今天先放上转接卡的情况, 回头更新HBA和Drive Bay, 最后可能还会试试TB上那个奇葩的4*SFF-8639 -> PCIe x16插槽转接卡
20210412001651.jpg (285.37 KB, 下载次数: 0)
主角为读取密集型PM1733 7.68TB, 五代96层 3bit V-NAND(TLC)颗粒, 最大持续读取7,000 MB/s, 最大持续写入3,800 MB/s
全盘4KiB随机读取峰值1.45M IOPS=5,800 MB/s, 全盘4KiB随机写入峰值135K IOPS=540 MB/s
峰值随机读写延迟100/25μs, 峰值持续读写延迟220/80μs, 待机功耗8.5W, 典型功耗20W
接口PCIe 4.0 x4或者Dual Port双端口冗余(2块HBA各负责PCIe 4.0 x2), 耐久度方面1DWPD也就是7.68TB*365*5=14.02PB/5年
PM1733 7.68TB拆机, PN号MZWLJ7T6HALA-00007C, 由于三星Enterprise SSD大多OEM, 所以末尾通常会多一个或多个英文字母
出厂时间2019年11月中旬(46周)较为早期但非E/S版, 单价~0.85元/GB在PCIe 4.0 SSD中可以算个不小的船
转接卡是2017年1月在美亚上买的国产外销货Funtin PCIe NVMe SSD Adapter http://www.funtintech.com/en/pd.jsp?id=1
另外特地拉进来WD(SanDisk) SN850 2TB凑热闹, 简单和消费级旗舰PCIe 4.0的快餐/家用作一下对比
软件信息读取, HWiNFO64验证PCIe已经是4.0 x4 也就是说在电气性能要求不高的单盘环境下Gen 3转接卡可以继续用
驱动方面PM983被自家NVMe驱动自动识别, 而PM1733默认只能用微软NVMe驱动
这是三星将旗下Datacenter SSD和Enterprise SSD不同定位导致的结果, 之前PM1725也是同样情况
出厂固件版本EPK94B5Q, 原企业客户更新后的固件号EPK99J5Q, Google搜索不到任何信息
VMWare Compatibility Guide数据库里显示有EPK98B5Q, 很明显EPK99J5Q比那个还要新...
三星企业SSD一大槽点是用在非OEM机器上没有固件更新的渠道, 所以入手时的固件越新越好
CDI进一步验证PCIe 4.0 x4握手成功, 测试前刚拿到盘的时候505T读取/420T写入/已使用百分比0%/1,152通电小时数和仅仅10次通电次数
待机温度40°C出头, 比PM983 U.2热但比其它2.5" U.2盘要凉快一些, 像Memblaze PBlaze5 D700 4TB待机会爬到50°C上下
以上为室温24°C下开放式平台Streacom ST-BC1无风扇吹的情况, 机箱和闷罐环境不能作为参考
CDM v8.0.1 1GiB对比970 Pro 1TB OS脏盘(14%占用) vs PM983 3.84TB软件等热数据脏盘(56%占用) vs PM1733 7.68TB vs SN850 2TB
CPU 5950X 16C/32T SMT未关闭, 主板打人C8DH, 再次强调快餐等不严谨测试在不同平台上没有可比性
PM1733和之前测试过的PM1725b都遇到了Q1T1持续读取偏低的情况, 反观PM983则非常正常, 不知是否和驱动直接相关
Q8T1跑出了7.3GB/s的持续读取和4.1GB/s的持续写入, 都比官参高出接近300MB/s
4KiB随机读取Q1T1和PM983同水准, Q32T16的5.7GB/s基本符合官参, 至于快餐跑出来的随机写入都不是全盘和官参无法直接对比
Windows Explorer传输PM983 3.84TB PCIe 3.0 x4复制视频大文件写入到PM1733 7.68TB PCIe 4.0 x4
前者是芯片组PCIe, 后者是CPU PCIe, 不过X570总线是Gen 4 x4不会跑到瓶颈, Gen 3基本在2-2.2GB/s左右
PM983的CDM Q1T1持续读取峰值2.37GB/s, 基本能榨干源盘性能
同理从970 Pro写到PM1733能达到2.3-2.5GB/s
Windows Explorer传输SN850 2TB PCIe 4.0 x4复制视频大文件写入到PM1733 7.68TB PCIe 4.0 x4
这里双方都是CPU PCIe, Gen 4差不多2.8-3GB/s之间
SN850的CDM Q1T1持续读取峰值4.45GB/s, 当中还有1.5GB/s的差距, Gen 4的优势并没有完全释放出来
2021-04-14更新
测试继续, 这次是TB上入的2*SFF-8639 -> PCIe x8和4*SFF-8639 -> PCIe x16转接卡, 加上x4刚好凑齐一系列
有意思的是, 这卡还有名字和型号, 分别为Deepblue U22PE8X和24PE16X
U.2典型最大功耗一般在20W出头, x8全部PCIe取电75W, x16后方多一个SATA接口(75+54=129W)
插满SSD的效果
上机后的情况, 四颗LED灯显示每个SSD被转接卡识别状态, 绿色代表正常, 注意主板PCIe设置里要选择拆分模式
识别x8下两块SSD毫无难度, 但由于X570通道数捉急, PCIe_1和PCIe_2同时插入时只能分别x8, 此时x16转接卡就无论如何都无法识别了
于是将显卡插到最后一个芯片组PCIe_3, 拔掉PCIe_2的设备, 最后PCIe_1完美识别3块SSD
CDI看到Gen 4成功握手, 由于手上没有多块PCIe 4.0 SSD, 所以无法验证同时插入时都能成功
CDM简单跑一下可以看到Gen 4的持续峰值带宽基本正常, 可能极限会稍有下降, 还有待进一步证实
最后我们看一下数据中心最常见的方法, 为此特地去海鲜市场上弄了AOC-SLG4-2E4T x8方便C8DH做测试
超微AOC-SLG3-2E4T x8和AOC-SLG3-4E4T x16, 块头相差巨大
将HBA卡通过OCuLink SFF-8611 (x4) To OCuLink SFF-8611 (x4)线连到Intel A2U8X25S3PHS笼子
PCIe/SAS/SATA三合一笼子背板细节
果不其然, 这块背板复杂的布线和电路对电气性能要求很高, 最后无论怎么调整Gen 4 SSD都只能运行在PCIe 1.0 x4(你没眼花, 不是PCIe 4.0 x1)
总结: 在Gen 4 HBA卡和Gen 4笼子出来之前, 目前Gen 4 2.5" U.2最佳连接方法为1/2/4*SFF-8639 - PCIe x4/x8/x16转接卡
只需主板支持PCIe拆分, 省线省空间最简单还能提前享受企业级PCIe 4.0 SSD
评论
我从PC到NAS也体验了几秒的2.2GB/s。。。。
但就是那么几秒。还是J叔持久啊.
copy_副本.jpg (53.9 KB, 下载次数: 0)
评论
钱塘盘王牛逼
评论
j叔真是太强了 仰视ing
评论
每次J叔发帖我的钱包都会害怕地颤抖
评论
真的牛
说实话，论盘，谁敢说什么
测试，说买了测，就买来测
评论
太牛逼了
果然消费级的硬盘在J叔这里不值一提，只有顶级企业级/数据中心级别才可以
评论
别测了别测了，钱包已经见底了
评论
博通的p411w-32p倒是出现在官网有一年了吧，不知道有没有渠道能买到
评论
交换芯片的那早有了, 纯HBA卡还没出现, 超微那两个Retimer新品可以发邮件去问什么时候开卖, 用的是SlimSAS接口
评论
嗯，看漏了要不带交换芯片的
评论
文件名亮点
评论
5950x的4kQ1T1好强。。。
评论
下载这个车号看看盘王的癖好
评论
顶顶
评论
好人一生平安
snis484.jpg (3.68 KB, 下载次数: 0)
评论
坐等j叔测试HBA和Drive bay能不能跑Gen4
评论
PCIe 4.0 的 HBA retimer卡在淘宝有一款技嘉的，但是不知道是否挑主板：
https://item.taobao.com/item.htm ... amp;id=630455903228
如果是技嘉及其的话还是挺划算的，毕竟是1个HBA retimer卡，4挑slimsas 4x线，外加4个技嘉的托架。全套只要1268元。
评论
厉害了, 马上去看
评论
+10086
J叔霸道！！！
评论
真能用在普通主板就牛逼了
评论
不知道那些U2转M2的线还有没有机会
评论
部分红卡能跑4.0
评论
SSD速度是次要
價錢和耐用性才是我關心的
评论
企业级别的东西，家用不需要考虑耐用性了吧?
如果是商用的，Specsheet都有写寿命的。按需部署就是了。这都是常规操作呢。
评论
还是retimer好了，pcie switch性能掉太多
评论
我就是2019年的时候了解到的大船，当时以为是每过几个月都会有0.5元/g。。。谁知道。。。
评论
必须的, 交换真的不适合PCIe NVMe
评论
我下单没多久然后又退了... Giga这个坑货的24*NVMe Front Bay系统还是Gen 3, CNV3024 HBA也肯定一样
https://www.storagereview.com/review/gigabyte-r282-z92-server-review
评论
顺序Q1T1只有1700嘛~~ 总感觉不太对劲啊J叔 的东西远看就好。。。自己份上用不着
评论
P5800X不知道什么时候可以看到测试
评论
楼主大大如果玩腻了想出手可以联系我
评论
2021-04-14更新
测试继续, 这次是TB上入的2*SFF-8639 -> PCIe x8和4*SFF-8639 -> PCIe x16转接卡, 加上x4刚好凑齐一系列
有意思的是, 这卡还有名字和型号, 分别为Deepblue U22PE8X和24PE16X
U.2典型最大功耗一般在20W出头, x8全部PCIe取电75W, x16后方多一个SATA接口(75+54=129W)
插满SSD的效果
上机后的情况, 四颗LED灯显示每个SSD被转接卡识别状态, 绿色代表正常, 注意主板PCIe设置里要选择拆分模式
识别x8下两块SSD毫无难度, 但由于X570通道数捉急, PCIe_1和PCIe_2同时插入时只能分别x8, 此时x16转接卡就无论如何都无法识别了
于是将显卡插到最后一个芯片组PCIe_3, 拔掉PCIe_2的设备, 最后PCIe_1完美识别3块SSD
CDI看到Gen 4成功握手, 由于手上没有多块PCIe 4.0 SSD, 所以无法验证同时插入时都能成功
CDM简单跑一下可以看到Gen 4的持续峰值带宽基本正常, 可能极限会稍有下降, 还有待进一步证实
最后我们看一下数据中心最常见的方法, 为此特地去海鲜市场上弄了AOC-SLG4-2E4T x8方便C8DH做测试
超微AOC-SLG3-2E4T x8和AOC-SLG3-4E4T x16, 块头相差巨大
将HBA卡通过OCuLink SFF-8611 (x4) To OCuLink SFF-8611 (x4)线连到Intel A2U8X25S3PHS笼子
PCIe/SAS/SATA三合一笼子背板细节
果不其然, 这块背板复杂的布线和电路对电气性能要求很高, 最后无论怎么调整Gen 4 SSD都只能运行在PCIe 1.0 x4(你没眼花, 不是PCIe 4.0 x1)
总结: 在Gen 4 HBA卡和Gen 4笼子出来之前, 目前Gen 4 2.5" U.2最佳连接方法为1/2/4*SFF-8639 - PCIe x4/x8/x16转接卡
只需主板支持PCIe拆分, 省线省空间最简单还能提前享受企业级PCIe 4.0 SSD
评论
给力的测试
评论
好帖收藏了
评论
J叔的帖子例行打不开图片~
评论
外链的图片网站没墙怎么会打不开呢....
评论
J叔出品，必属精品。先拜后看，已成习惯。
评论
买过X8的转接卡，同时跑的话两个都不到标准速度，有一个降的比较厉害。
评论
卧槽~，你这是啥网卡
评论
屏幕截图 2021-04-14 214715.jpg (107.11 KB, 下载次数: 0)
19年第一次看到三棒的大船，一点没犹豫直接下单，把机械盘全部淘汰了
评论
正经的完整看完了
多了不说了
确实暴露了很多盲点
包括OCLINK转接等等
评论
J叔给力，当连续剧看了。
评论
有钱啊！orz
我大一学生，省来省去目前手里也只有10k
评论
这句话得对J叔说
评论
P4801X 弯了，太奢侈了吧
评论
哥，链接4个u2那个pci x16转换卡有链接吗？能pm个吗，没找到
评论
每次J叔的文章一出现 chh就会刮起一片新的风雨
评论
我是直接问熟悉的卖家直接交易, TB上搜4 U.2也能出结果的, 现在因为Chia的缘故听说都缺货了
评论
QQ截图20210416010658.jpg (16 KB, 下载次数: 0)
文件名是亮点
评论
下单了个j叔同款Deepblue U22PE8X
谁知道发过来个Deepblue 22PE08
据说优化了走线长度......
评论
毒性太强，钱包阵亡
评论
发现大家对某雷骂的凶，真下载时身体还是诚实的 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收
·日本留学生活 求个大阪合租
·日本留学生活 自家房招租求
·日本留学生活 东京地区出9成新lv钱包
·日本育儿教育 孩子从国内过来如何学习日语
·日本育儿教育 明年四月横滨招月嫂
·日本育儿教育 请问咋让娃突破识字关？感谢分享中文共读和学习经验的妈妈
·中文新闻 东区明星迈克尔·格列柯，53 岁，将在第一次出生两年后第二次
·中文新闻 《爱情岛》明星卡米拉·瑟洛和杰米·朱维特在透露即将迎来第三