事出缘由是前段时间在翻超微手册时发现的一些疑问所以想在这里做个分享, 只是做简要的讲述有错误请多多包涵
首先简单说一下目前服务器内存两大主角RDIMM和LRDIMM
RDIMM就是大家俗称的RECC内存, 最前面的R指的是Registered寄存; LRDIMM全称为Load Reduced DIMM, 顾名思义是起到了减轻负载的作用, 其前身是FB-DIMM(Fully Buffered DIMM), 因为功耗以及性能问题FB-DIMM并没有取得多大成功仅持续了DDR2一代, 从DDR3开始被LRDIMM取代. RDIMM, LRDIMM以及PC电脑上的UDIMM(Unbuffered DIMM)构成了台式型内存的三大支柱, 其中UDIMM包括了大家普通电脑里的内存以及很容易搞混的ECC UDIMM(也就是一般所指的ECC内存), 关于ECC UDIMM和RDIMM的区别, 推荐阅读 http://www.eetimes.com/document.asp?doc_id=1279507
DDR3 RDIMM vs DDR3 LRDIMM
为了保证并行传输的有效性, RDIMM在内存条上加了一个寄存器进行转发以减少CPU内存控制器和DRAM芯片之间并行传输的距离. 在DDR3时代, LRDIMM将RDIMM中的寄存器改成了iMB(Isolation Memory Buffer), RDIMM只寄存内存控制器输出的控制(CMD), 地址(ADDR), 时钟信号(CLK), 数据仍然是直连的. LRDIMM则进一步减少了内存控制器和DRAM芯片之间的负载, 将数据也进行缓冲, 优点是内存控制器看到的Rank数减半从而能在四通道系统中使用更多Ranks的条子, 缺点当然是延迟较RDIMM有了进一步的增加.
DDR4 LRDIMM vs DDR3 LRDIMM
到了DDR4, IDT(Integrated Device Technology)率先研发出了新的LRDIMM芯片, 将原来的iMB改成了9个分散式的DB(Data Buffer), 原来中间的位置则统一变为RCD(Registered Clock Driver)(对RDIMM和LRDIMM皆如此), 这样就减少了缓冲器与DRAM芯片之间的Trace Length, 大大降低了LRDIMM的延迟, 而原本LRDIMM在多Ranks下的优势也随系统内存容量的增加越来越明显.
RDIMM和LRDIMM有着一个共同的目标, 就是在损失少量性能的基础上进一步增加单条DIMM容量, 而增加单条容量无非只有两个办法 - 使用更大容量的DRAM颗粒(4Gb, 8Gb和未来的16Gb)和增加Rank数(16个Banks下颗粒位宽只能为x4和x8). 前者会随着工艺的提升慢慢增加, 而后者是有限制的. 通常一根DIMM会有1/2/4/8个Ranks, 服务器内存会标为1R/2R/4R/8R或SR/DR/QR/OR, 而当前CPU每通道有8个逻辑Ranks的上限, 下面的核心问题就是如何根据Rank数来搭配内存.
先来看一下Broadwell-EX/EP的核心Diagram, Intel将Die分为三档HCC/MCC/LCC, 也就是大家俗称的原生核心数
E7 v4全部源自原生核心数24, 和E5 v4 HCC同属一个Die, 步进B0, 图中未包含最右边的6个核心以及第三条QPI
E5 v4 MCC原生核心数15, 步进M0
E5 v4 LCC原生核心数10, 步进R0
首先, CPU之间通过QPI互联, E7有三条QPI, E5 2S/4S有两条, 最快的9.6GT/s传输速率为单向19.2GB/条. 在CPU内部, 中间的鲜红色代表了所有核心共享LLC(L3 Cache)的Ring互联, 可顺时针亦可逆时针, 带宽达到数百GB/s甚至更高. 可以看到HCC/MCC有两条, 而LCC只有1条.
第二个主要不同点是HCC/MCC拥有两个Home Agenet(HA)和Memory Controller(iMC), 而LCC只有1个iMC来应付四通道, 因此内存性能方面肯定会有所损失, 这也是为什么绝大多数LCC(R0步进)的E5 2S只能运行在DDR4-2133下的原因.
最后一个不同点在于只有E7支持Scalable Memory Interface(图中的Intel SMI2), 它通过Scalable Memory Buffer(SMB)让系统DIMM数量翻倍(相当于6DPC), 最新一代控制器为C114(代号Jordan Creek). 每块SMI2 Riser卡上有12条DIMMs, 单个CPU支持两块SMI共24条DIMMs(3TB), 4路8块SMI就是96条DIMMs(12TB), 8路16块SMI就是192条DIMMs(24TB). 当然由此带来的负面影响也很明显, E7 v4最高只支持DDR4-1866, 插满后多数时候运行在DDR4-1600下.
巨大无比的SMI2 Riser卡
x86小型机HPE Integrity Superdome X的内存子系统, 每个SMI2 iMC独立控制两个内存通道, 每个通道6条DIMMs
在对每个系统进行DIMM分析前, 先需要理清楚几个概念
DPC - DIMM Per Channel
每个通道插入的DIMM条数, 目前有1DPC, 2DPC, 3DPC, 所以单路CPU四通道2DPC为8根DIMM, 3DPC为12根DIMM
SPC - Slot Per Channel
每个通道DIMM插槽数, 也分为1SPC, 2SPC, 3SPC
UDIMM最大容量
当前主流DDR4颗粒为8Gb, 在16个Banks的情况下单颗DRAM颗粒可以做1Gbit*8bit或2Gbit*4bit. Non-ECC UDIMM每个Rank为64bit, x8要8个颗粒, x4要16个颗粒. UDIMM一般都用x8(以最少的颗粒数组成1个Rank), 所以通常可以直接以单双面来判断Rank数, 8Gb单面最多8GB, 双面最多16GB.
RDIMM和LRDIMM最大容量
服务器跟桌面刚好相反, 有了RCD和Data Buffer之后无需顾忌颗粒太多导致内存控制器超负荷, 所以一般都会用x4这种较多颗粒数的排列方法. 1个72bit Rank需要18个颗粒(16+2ECC), 所以8Gb下1R最多8Gb*16=16GB, 2R最多32GB, 4R最多64GB, 8R最多128GB. 其中RDIMM 64GB/128GB和LRDIMM 128GB应用了3DS TSV技术来堆叠, 比如128GB 4H堆叠后内存控制器只看到一个Master Chip, 4个逻辑Ranks对控制器来说都是同一个物理Rank通信, 进一步减少负载.
下面我们来看一下每个系统的内存支持情况
Intel官网有个叫Memory Validation的地方, 里面可以查阅经官方验证的RDIMM和LRDIMM运行速度
http://www.intel.com/content/www/us/en/platform-memory/platform-memory.html
对E5-2xxx v4来说
RDIMM最高运行速度
LRDIMM最高运行速度
这个"降速表"在超微手册上也得到了完整的体现
那么现在问题来了, 在查阅了众多品牌服务器的手册之后, 发现降速远没有CPU和主板商标称那么保守
FUJITSU Server PRIMERGY
HPE ProLiant DL360 Generation9 (Gen9)
Dell PowerEdge (13th Generation)
列表比较服务器厂商与Intel/超微在"插满降速"方面的区别, 降速主要是因为当前CPU每通道只认8R
1R/2R RDIMM1DPC2DPC3DPC 2R/4R/8R LRDIMM1DPC2DPC3DPCOfficial240021331600Official240024001866Fujitsu240024001866Fujitsu240024001866HP24002400
1866HP240024001866Dell24002400 1866 Dell240024002133
评论
写得很不错的
评论
多谢科普
评论
很高级的文章，收藏了
不过这里玩到LRDIMM的人应该很少吧
评论
希望土豪来自爆
评论
https://www.chiphell.com/thread-1376840-1-1.html
https://www.chiphell.com/thread-1502596-1-1.html
可以找这土豪
评论
好像SSD豪Allen已经把E7卖了吧, 而且人家之前用的是DDR3...
评论
啊，那就说明2011针其实要满足24DIMM 3QPI 1DMI和PCI-E X40的需求
说明E5和HEDT I7的2011有很多针脚其实是用不到的
评论
从intel内置IMC开始，内存通道数才是影响针脚数的关键
LGA115X 双通道
LGA13XX 三通道
LGA20XX 四通道
LGA36XX 六通道
评论
马克下为以后做准备
评论
重复
评论
是这样的, 不过这样一算, 恐怕HEDT在2023年前(Tigerlake下代-E?)都见不到六通道了
评论
好文，收藏！
评论
Intel比较着急2020上DDR5
通道数没什么进展
评论
DDR5和HEDT上不上六通道好像没什么关系吧, 我看三星和镁光都表示2019年量产, 倒是Intel说2020年面向终端市场. 如果和Haswell-EX/EP/E一样的节奏, 那就是Icelake-EX/EP最早上DDR5, Intel完全可以选择给Icelake-E或Icelake-X六通道, 但目前看来牙膏厂只想把两者的差距越拉越大, HEDT可能会沦落到跟Skylake一样落后服务器市场一年才享受到DDR5的待遇.
评论
项目已经都是墨西哥的了，这帮人能力有限，干不了太多活。HEDT这种鸡肋项目，拍脑袋做成什么样都不奇怪，最有可能的还是跟着低端服务器走。
评论
我有个简单的问题
1.jpg (45.44 KB, 下载次数: 0)
我的主板现在用的是8条reg ecc内存，我想知道是否可以用普通的ddr4条子。
评论
c612只能用RDIMM和LRDIMM，不能用UDIMM(普通内存)
评论
我的电脑用了8条recc，因为服务器内存没有马甲，平时又爱折腾，
这8条内存有5条都调电容了。想知道有什么好办法，服务器内存能自己装个马甲上去吗？
评论
v3和v4是不行的, Intel之前改了.
评论
可以自己买内存马甲装上去。。注意马甲的厚度和高度
评论
非常好的文章，讲明白了很多东西。
我也怀疑超微 X10 的内存频率太保守，同期待插满的土豪来验证下 16 条 2R 2400 是否会降到 2133。
评论
HEDT 6通道有点过于高端，意味着用户至少要插6条内存才能达到设计性能。
而目前HEDT用户都应用大多并不需要海量内存，很多都是4通道插着4条内存在用
评论
当年5820K可以和2699 v3同时用上DDR4四通道, 6年后的9800K可能还是DDR4四通道而隔壁的2699 v7已经是DDR5六通道甚至八通道了, 没进步就是在退步
评论
感觉4通道已经是桌面应用的极限了，只有服务器需要高度并行运算的才需要更高内存带宽。
而且明年之后，桌面可能出现单条32GB的non-ECC条子，4条就能到128G，以后桌面应用需要6条或者8条条子的情况更少了。
评论
学习了,原来有这么多讲究,以前都是照着主板兼容列表去选的
评论
当年3960x和2699只差了2c
现在6950x和2699v4差了一半多。
这就是为啥intel要拼死提升多路的内存带宽了
评论
V3用超微的板子可以，V4不行
评论
很有道理, 不过当年是2690.
评论
这个科普贴真不错，以后升级内存就跟着这个买了汇报一下，超微 X9DAi + E5-2680 v2 *2 + 三星 DDR3 REG ECC 2Rx4 1866 8GB*16，会降频成 1600，8 条就不会降。
在 BIOS 里无论是选 Force 1866，还是选 Force SPD，都无法通过自检，只能强制关机清 CMOS。
评论
双路E5 v2+X9板子上, 8条DDR3 RDIMMs是1DPC, 因此2R的可以1.5V下1866, 2DPC后变成1.5V下1600, 没毛病
评论
嗯，没毛病，就是想看一下超微官方的限制是不是太保守。实际确实保守……
评论
马克一下，学习了。
评论
自己也碰到了同样的问题，感谢楼主科普。
评论
学习了，不过看样子好像lrdimm的不只是延迟上，很多方面还是照rdimm的性能有差距的
评论
好有技术含量，没看懂，收藏再学习
评论
文章太全面了，所有疑问都得到了解答，服务器内存条1R、2R、4R看了好多文章还不太明白。按超频单面双面的玩法肯定是越少越少，但是看了说2R的比1R有性能提升就迷惑了，然后那些文章又不说提升的原因。另外总RANK数说是有限制又不说清楚限制是多少。
评论
大概也懂了8180m跟8180内存的区别了，128GB的 LRDIMM是8 rank的，8180每通道8 rank就不能插满12条，只能6条就是768GB。 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01
·日本留学生活 求个大阪合租
·日本留学生活 自家房招租求
·日本留学生活 东京地区出9成新lv钱包
·日本育儿教育 孩子从国内过来如何学习日语
·日本育儿教育 明年四月横滨招月嫂
·日本育儿教育 请问咋让娃突破识字关？感谢分享中文共读和学习经验的妈妈
·中文新闻 东区明星迈克尔·格列柯，53 岁，将在第一次出生两年后第二次
·中文新闻 《爱情岛》明星卡米拉·瑟洛和杰米·朱维特在透露即将迎来第三