先说发现的问题，X99-E WS的PCIe带宽不正常，少了一半。
然后分析+摸索后，发现是BCLK分频选项，我从Auto改100MHz造成的。改回Auto后就好了。
所以我开帖问问大伙的情况，看看是X99-E WS的问题还是X99平台本身的问题。
如果是X99-E WS的问题，我就打算给Asus写邮件，让他们修Bug - -！
--------------------打着哈欠的分割线---------------------
具体这么回事
我有张X99-E WS USB3.1。机器配置5820K，和PCIe 3.0的N卡2张，显卡分别插1槽和5槽。摸索后发现（其实也是解决这个问题后顺道知道的），主板管1-4槽的PLX的走的CPU的16X的通道，5-7槽，走的CPU的8X通道，M2走的CPU的4X通道
然后，问题来了
昨天发现GPU的PCIe带宽不正常（用AIDA64的GPGPU测试），就预期的一半。
插1槽，应该16X 3.0，跑出12GB，但实际就6GB
插5槽，应该8X 3.0，跑出6GB，实际就3GB
第一反映就是跑在了2.0上
但GPUZ告诉我跑在3.0上，而驱动告诉我跑在2.0上（事后想，驱动应该检测了整个PCIe链路；因为NV有双芯卡；双芯卡的PLX是3.0的，但是卡不一定插3.0的槽上）
我猜想PLX到GPU确实是3.0，但是CPU到PLX就2.0
HWINFO证实了我的猜想。
于是回头去解决CPU到PLX的问题。
尝试回复UEFI的设置，居然跑3.0了。
我就明白，问题出在某个设置上。
一路尝试，最后发现原来是BCLK的分配设置上：
只要是Auto就没问题，但手动指定100MHz，CPU到PLX就2.0（理论上M2可能也会跑2.0，但没M2设备验证）
回头补数据图
评论
ws问题多多，虽然都不致命，华硕不可能为你一个人修复bug，毕竟针对的是小群体用户，干脆换主板吧。
评论
倒是能解决。但是UEFI的小问题真特么多。虽然都能各种奇奇怪怪的招规避掉。
WS有PLX... 对PCIE Lane有特殊情节
话说当年用华擎的时候，出些问题，官方售后都能专门给小版本的bios用
评论
uefi？我碰到过插第一条pcie 屏幕没输出的。。。
评论
华擎这方面的好评还是蛮多的
评论
华擎顶级主板 供电模块等更容易过热 主板非得上水
评论
R5E 5820K超双45 单FPU不蓝 28.7版本PRIME95瞬间蓝 27.7版本没问题 超双42没问题 楼主你的能稳单45 跑28.7版本prime95么 现在双42 1.2和1.35电压 最高版本BIOS 很稳定 。。。 不行换R5E吧。。。
评论
R5E 5820K超双45 单FPU不蓝 28.7版本PRIME95瞬间蓝 27.7版本没问题 超双42没问题 楼主你的能稳单45 跑28.7版本prime95么 现在双42 1.2和1.35电压 最高版本BIOS 很稳定 。。。 不行换R5E吧。。。
评论
我X99-WS/IPMI，只要BIOS关闭ASMedia的USB3.0芯片，内存读写速度就会暴跌。
评论
Asus有神技 不过最后都能自己摸索出解决办法... 真是迷之乐趣无穷...
评论
mark关注下…… 原始版x99-e ws
好在bclk搞在了auto上…… 因为用的是E5
评论
5820K 这个U的PCI-E LANE总共只有28条， 其他高一些比如5960x都是40条， 两个PLX 8747想同时全速工作， CPU那边需要至少32条PCI-E LANE
评论
你说的我都知道，但我说的不是你说的造成的
评论
具体来说，1-4槽，是从CPU的16X引出的，5-7槽是从8X引出的，最后的4X给了M2...
评论
所以您的28条LANE的CPU也可以让1，3，5，7四个槽同时跑在PCI-E 3.0 16X？ 理论上不可能，至少1到5或者7中任何一个的最大带宽不可能到PCI-E 3.0 16x，不过你说的纯PLX到GPU的带宽，那倒是可以都跑满。 不过， 纯PLX到GPU带宽没有什么意义。 经验表明，超频或者高主频的CPU是会对PCI-E总线达到最大实际带宽有帮助的。
评论
...稍稍理解起来有些麻烦。但您可以这么理解：
1-4槽是共享16X 3.0的带宽的。也就是说，如果1槽占用，2-4槽不在占用带宽，那么1槽是可以跑到16X 3.0的
我主贴说的问题在于，就1槽使用的情况下，也就16X 2.0的带宽...
不知道这么解释，您可以理解吗？
对于PLX到CPU的带宽，确实只有16X 3.0，但4槽并不会全时都在跑满速，还有PLX理论可以广播数据到各PCIE。所以瓶颈也不会有想象中那么大
评论
再补充一下，超频SA可以降低PCIE的延迟。但是对于提升PCIE带宽没用。因为PCIE还是100MHz...
评论
X99-E WS的PCIe带宽不正常，少了一半
用AIDA64的GPGPU测试），就预期的一半
如何验证？怎么知道少了一半？
评论
跑AIDA64的GPGPU测试内存的读写就是走的PCIE，还有GPCBenchmark的设备到主机项目
评论
27.7 能稳定运行，日常用没问题的
我之前的5960x 也是拿 27.7 20分钟 作为拷机依据
评论
我刚才也测了一下，有一些数据，但不知道是不是正常？
我用GPU-Z和HWiNFO64 看，我的显卡都是泡在pcie 3.0 X16 上的，应该没问题吧，
评论
用我说的软件。你这2和看不出来
评论
请看一下跑分，显卡是980ti
怎么看pcie 正常还是异常？
评论
带宽正常的
评论
可以指点一下怎么看 正常还是不正常？
评论
16X 3.0的正常实际带宽12G左右
16X 2.0 或者 8X 3.0的正常实际带宽6G左右
评论
QQ截图20160724232627.png (35.34 KB, 下载次数: 0)
还有个简单的办法，看NV的驱动，里面的设备信息。
NV的驱动会检测整个PCIE的链路，按照整个链路里最低那环显示
评论
微星也可以叫技术给BIOS
评论
当年的华擎也能。现在的华擎客服只会CV了...
客服没用的，直接要求给技术部门的电话！自己去问
评论
用r5e更蛋疼
评论
我以前找华擎的客服，客服会转技术，然后把事情推进下去，拿到想要的bios...
现在毛都没了，除了CV。
最近一次联系，是用华擎Z170 K6的时候，因bios的ACPI规范性问题导致FreeNAS没法安装，给客服联系，再三解释情况，都表示：我们的主板写了只支持Windows...
但其实他们家的EX3就没问题
评论
现在客服全部临时工吗？
评论
我也试了一下...
QQ图片20160724115610.png (170.16 KB, 下载次数: 0)
评论
我知道有点歪楼了， 但是其实PCI-E总线的呑吐量一方面受限于你说的100MHz的频率，另一方面同时也受限于PCH控制器的呑吐能力。 比较高的主频的情况下，控制器的呑吐量更好。
评论
我说的那几条PCIE槽都是走的CPU的SA的PCIE控制器，而不是PCH的PCIE控制器的...
我这个板子除了第二槽可以自己bios设置走CPU-PLX的PCIE通路或者PCH的PCIE通路外（雷电2卡专用），别的槽都是走的CPU-PLX的。
另外PCH其实受限于DMI，X99的DMI就只是一 4X 2.0的PCIE...
至于CPU和内存OC之后，SSD的IOPS能提升，那完全是4K数据的IO测试依赖CPU和内存性能所致的...
评论
AIDA64在多GPU的情况下，下面的性能数字都是几个GPU的和-。-...
评论
不知道，反正不是以前接触的华擎了- - 真伤感
评论
话说有啥影响么？我一直都是6G…
评论
1-3%的性能差别
评论
我是ews加6850k 如果我双卡加两个pcie ssd能都跑满速吗 插槽是可以随便插还是有讲究的？
image.jpeg (192.59 KB, 下载次数: 0)
我现在是这么插的 显卡1和5 ssd 7
暂时跑分正常 准备再加个ssd不知道是不是可以随便插
评论
你好，我目前的插法如楼上的图，如果再加个750能四路跑满速吗
评论
插到1，3，5，7，CPU配40条LANE的，硬件上就没问题咯。 不过，没试过750行不行。 GPU卡上的READ BUFFER CACHE也会影响卡与卡之间通信的实际最高带宽。
评论
不好意思，我说的就是CPU里边的PCI-E控制器。 您说第二个槽可以设置成走CPU或者PCH的通路？ 这个是怎么看出来的？ 我这里说的都是GPU与GPU之间直接通讯的带宽， 主板桥芯片上的PCI-E插槽那部分自然受DMI版本和LANE数的限制，除非你在上边插EDR或者FDR这类的HCA卡，不然，你应该感觉不出来带宽瓶颈
评论
你这个界面怎么调出来啊？
评论
16X 3.0的正常实际带宽
指的是 memory read 的gpu 得分吗？
评论
那就不管了。。
评论
额 一定 2 4 6的带宽还不一样的？
刚刚看了一下 现在插的是1 5 7
评论
看了帖子才发现，也是双PLX的X79-E WS也有这问题，玩ryse、doom这些带宽要求高的游戏老是莫名其妙像爆显存一样掉帧
评论
这主板的第二槽可CPU可PCH的结论是从【雷电2卡必须走PCH的PCIE，而这个主板的第二槽可以在设定为4X后用雷电2卡】这个说明书上的说明得来的.. 还有我找了一个老毛子的站点，有主板的框架图
GPU与GPU之间的通信没有什么的
而且2颗GPU只要接在一颗PLX下，是可以走PLX直接通信的（这个应该需要驱动支持）；而且PLX也能多播（上面说的特性可在PEX 8747的PDF里看到：http://docs.avagotech.com/docs/12351854）
评论
嗯。AIDA64的内存读取和写入其实走的GPU到主机内存，所以能看出PCIE的带宽
评论
实际上，满打满算的跑，也不能全速的，因为2颗PLX下共有16*4，PLX上只有16*2。但好在其实这些PCIE设备没有那么的占带宽，所以绝大部分时候都是够的。
我之前就是1 3槽显卡，5槽750，6 7槽别的卡
评论
X99-E WS是这么分PCIE的
靠近CPU那槽为1的话，1 2 3一颗PLX，4 5 6 7一颗PLX，1永远16X，剩下的16X槽（灰槽）当边上的黑槽插上设备后会变成8X
28Lane的CPU，如果4 5 6 7槽有高带宽需求的设备且时长高负载，再考虑到PLX的多播能力，双卡我反而觉得插1 3槽比较合适（很像NV和AMD家的双芯卡，一样的PLX下，接2颗GPU）
40Lane的CPU，比如你的6850，我觉得你现在的插法可以有...
评论
要看CPU吧，3系估计CPU到PLX就2.0....
评论
NV的驱动面板，右下角有个系统信息，点开就有
评论
其实我对PLX扩充出来的PCIE Lanes一直有疑问，CPU到PLX就固定的，比如就16或者28或者32，即CPU到PLX带宽是固定的，但是PLX到设备的却比CPU的大很多（记得有些主板甚至可以从16扩到48），这就奇怪了，怎么能保证多卡共同工作时候的性能（就像一缸米，就那么多，一个人吃和4个人吃，每个人得到的分量都是不同的）
评论
因为PLX下的设备，大多数时候并不会所有设备都同时满带宽跑的。而且PLX能多播数据。
就像一缸米（这缸米每吃一顿后就会自动重新装满），是就那么多，但一个人正常情况下，一顿只能吃1/4，再吃也吃不了
那么，变成4个人一起吃，就正好把一缸米吃完。
另外4个人吃的时候，负责分米的PLX汤勺还能在有些情况下，同一勺米重复喂多个人...
评论
额 但是如果5、6、7共享一个8X
我5槽插显卡，7槽插SSD
如果我是在SSD上玩游戏 两个都同时开始工作 性能损失大吗
因为我知道显卡跑分的时候 SSD占不了多少带宽 SSD跑分的时候 显卡占不了多少带宽
看跑分应该看不出问题
评论
你可以开个IO meter跑SSD测试的同时，跑3dmark。
我有1080，跑在独享的16x 3.0上，最多的时候PCIE bus有40%多的负载，大部分时候也就10-20%。
如果这个负载算下来，占的带宽不少的。算到8x下，余量不多。
但，
PCIE是双工的。
虽然我不知道GPU<->PCIE具体的上行和下行的流量
但可以肯定的是，GPU更多的是PCIE->GPU的流量（显卡从主内存载数据到显存），750更多的是SSD->PCIE的流量（750读取快，且家用SSD读多）
所以，2个设备各占一个方向的带宽
所以，我觉得出现带宽不够的概率非常小
奇怪 根据我这两张图 似乎两张卡都是跑在X16上？
111.png (29.1 KB, 下载次数: 0)
222.jpg (252.47 KB, 下载次数: 0)
评论
谢谢回复。你说的道理我懂，主要意思：即便现在最顶级的显卡（GTX1080），也用不到PCIE3.0X16一半的带宽，所以就PLX就可以动态分配这些富余的资源，当然PLX肯定有自己的专利技术来确保这些设备之间的运作（我看PLX这个公司股价不低，安华高收购他可是花了相当多的钱，并且PLX芯片价格也不低）。但是从纯粹的理论角度分析，这些设备的胃口如果突然变大了（比如说那四个人同时换了一个很大的碗吃饭，一勺都不够装了），从根本上来说，还是解决不了CPU到PLX之间的带宽限制问题把，毕竟带宽不能凭空产生出来。
评论
PLX->GPU是可以2张卡都16x的...但2颗GPU都在一颗PLX下，那PLX->CPU就一条16x。
但，如果同一时间就一颗GPU在传输数据，那么还是可以独享那一条16x的...
评论
其实现在的GPU要跑过16X 3.0 一半以上的带宽是非常依赖具体应用场景和编程技巧的
一般的3d游戏，基本会把所有能预载的数据（比如纹理）都预载进VRAM来保证性能，然后3d游戏跑起来之后，PCIE就走一些CPU计算结果和图形指令，这时候带宽占用会特别小。除非爆显存了，GPU需要走PCIE去RAM取纹理数据啥的，但这是另外一个问题了。
那种跑起来之后带宽占用都特别大的应用，一般偏向于高性能计算了。
那种应用下，就是另外一套构架了（比如2颗40 Lane的CPU）
你说的情况如果发生了，确实是有限制的。
但，技术方案终究是和实际需求绑一起的，带宽永不嫌大，容量永不嫌多，无穷尽的，所以最后一定是一个需求和成本间妥协折中的解决方案。
16x -> PLX -> 16x *2 这种就是一个折中，每颗GPU实际可用的 >= 8x+8x的组合，而成本远小余16x + 16x
评论
x99-e ws我测了一下正常
用的是r290 cf
750
xp941
这点配置
评论
开了两个assd跑两个硬盘
然后aida跑显卡。。。全部都是正常的速度
评论
XP941走的单独的4x
750走的和GPU共用的路，
但as ssd的测试数据量太小了，默认就1G，就占了0.x秒的时间..而且就算750全速，也就2.5G读，16x有12GB.. 所以完全不用担心家用的时候带宽不够这种事情- -
评论
雷电确实必须走PCH上的PCIE，这是HSIO分配规则定下来的规矩。 话说这主板竟然能找到block diagram也真是够不容易的了。印象里就超微的板子还比较容易找到详细的bd。
你说的两卡在同一个PLX芯片桥下边的，只是一种情况， 有时候卡与卡之间又需要通过CPU的PCI-E控制器， 就不用说多路的时候需要走QPI，多机的时候需要走HBA的情况了。
评论
看跑什么东西了，打游戏估计PCI-E 1X和16X都差别不大，跑CUDA并行计算就不一样了。
评论
试验下来，4X 3.0就能保证大部分性能，1X 3.0真的不够- -...
评论
多路的情况更复杂
话说，看PLX的PDF，PLX支持其上的GPU peer to peer通信
评论
我主卡在1槽 副卡在5槽 应该是两颗PLX
而且是同时跑的
评论
40 Lane的CPU的话 就是正常的了
评论
谢谢。基本理解了。通俗点说就像一个办公室里面的电脑通过路由器和交换机连接外网，真正需要上外网的数据流都不大，主要靠内网之间相互交换数据资料。PLX的芯片主要是Switch交换数据吧。
评论
对。就算难得有个人临时着急全速下载点东西也不会耽误别人太多事情，毕竟同时着急全速下的人也不多。更多的，大部分时候大家就聊聊天，没啥外网流量...
评论
嗯，对， 他家的PLX是支持GPU Direct， 有兴趣可以看看facebook在OpenCompute框架下的Big Sur服务器的框图， 基本上所有8卡之间通信都避开了经过CPU上的PCI-E控制器。
评论
不怎么打游戏， 所以也只是听说对游戏玩家 1x 和 16x 之间性能相差的非常的少。 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收
·日本留学生活 求个大阪合租
·日本留学生活 自家房招租求
·日本留学生活 东京地区出9成新lv钱包
·日本育儿教育 孩子从国内过来如何学习日语
·日本育儿教育 明年四月横滨招月嫂
·日本育儿教育 请问咋让娃突破识字关？感谢分享中文共读和学习经验的妈妈
·中文新闻 东区明星迈克尔·格列柯，53 岁，将在第一次出生两年后第二次
·中文新闻 《爱情岛》明星卡米拉·瑟洛和杰米·朱维特在透露即将迎来第三