日本电子维修技术 NAS关于非企业磁盘做阵列RAID5的危险性讨论

对于BER产生的概率如下：
1.SCSI/FC/SAS 的概率是 10^16-15(就是说1PB-100TB就会产生一次BER）
2.SATA的概率是10^14-10,要视乎盘体质量（就是说最好情况是读取10TB就会产生BER）

有一篇文章（http://www.sklinux.com/1259）提出BER错误高达44%。开始我对44%的概率是怀疑的，因为没有提供算法。后来去找专业的网站找到类似的算法如下：
1.http://tech.watchstor.com/storage-systems-121661.htm
2.http://itdocument.com/479871989/（这个是建模的，可惜只有部分可以阅览）
3.这里有一个提供下载的链接https://www.google.com/url?sa=t& ... cJTFPC7mlnOvCLUSXNg4.44%的BER出现率，在下面找到印证。


通过上述分析计算，说明了大容量、多磁盘、低安全性的SATA做RAID5的风险。
因为数据有冷、热数据之分。我们平时一般不会做全盘校验，一般只依靠硬盘的自检，当RAID5发生掉盘的时候，阵列的读写数据足以超过SATA的BER概率(也就是10^14-10)，当出现BER时，影响只涉及数据的好坏，但是在重建RAID5时，会影响重建的成功率（RAID5重建需要全盘恢复）！要知道RAID5掉盘的情况下，这时候阵列效能是很低的。
RAID5产生时间相当久远，当今大容量、低安全性的SATA组成RAID5确实是有缺陷，存储厂家也是一再强调。
RAID 6 之所以重要，不是因为它能恢复两个同时发生的磁盘故障，而是能用完好的对等磁盘恢复一个磁盘故障和一个读取错误。这就是双校验的优点。

重复一次：1.RAID5全部磁盘在线，BER会影响数据的完整。
                 2.RAID5有一个磁盘离线，阵列效能低下，BER会影响数据的完整，也会影响RAID5的重建成功率。SATA磁盘尤其严重。

RAID5是很成熟的技术，但是在采用低安全性、多磁盘、大容量的SATA磁盘组成时，风险级数也是大大提高！请大家不要忽视其中利害关系。也不要因为自己能成功重建而忽略BER的产生的风险！
      
注：终于找到一处BER为44%的出处。http://www.pceva.com.cn/article/1311-4.html，文中很多地方值得家用玩家看看。
       最后附上EMV存储默认的策略（如下图）


评论
一直单盘的表示压力不大

评论
你对BER的概念理解稍有问题。
BER为10^14是在最坏的情况下读取100Tb数据有可能会出现1个bit出错，也有可能不出错，而不是确定的100Tb就肯定会出现一个bit的错误。

评论
太专业了，基本没看懂

评论
虽然没能完全掌握，但是楼主的基本思想已经表达出来了。

BER是数位错误率（当然是设计上的，而且是仅当硬盘工作于极理想状况下的平均错误率），上面关于Sata和SAS盘的BER估计是设计参数，这个间接说明了两种磁盘的应用目的是不一样的。不过实际的BER会因为环境以及多种其他因素的共同作用而提高（而且这种提高也往往反映到硬盘上面去，因为数据不久存储在硬盘中吗）。
特别需要说明的是，基于统计的结论，对于单个样本是没有太大的意义的，这就是我们普通用户的硬盘一旦损坏数据就全部完蛋的现象吧。所以大家看这类文章的时候，要站在企业级的应用场景下。

从上述分析来看，普通的Sata硬盘在阵列方面的表现是并不如人意的。也可以理解为，这类Sata硬盘并不足以支持Raid这种企业级的应用（或者说如果应用到Raid中时，会成为一个非常薄弱的环节），基本上可以认为就是为单盘独立运行而设计的。而SAS硬盘由于设计质量水平较高，应用到Raid环境下时，其质量水平能够支持Raid整个系统的运行。

最后，楼主推荐的存储池结构和形态也是针对不同的机型（可以理解为设备水平）以及不同的存储类型（也可以理解为数据安全和性能的综合需求）下的推荐的冗余阵列方式。当然了，作为企业级的应用——对于普通的民用的产品——还是一贯的烧钱的

评论
普通SATA硬盘没有限时差错恢复技术。很容易掉线的。

评论

这技术有的很多了，不是当年。一直唱r5不安全。那么r5和单盘比，你觉得哪个安全？r1成本高，r6盘多，不考虑，本身安全就比5高一级。 论坛的误区不是不知道r5的缺陷，是一堆人说r5不如单盘，我就很想知道如果单盘挂了数据就不要？

评论

10^14单位是bit转换为TB换算如下

10^14/8/1024/1024/1024/1024=11.369TB

为了方便计算，采用了硬盘厂家的算法取整后大概就是10TB。10^14是一个概率，估计以通常采用50%命中的情况下而得出的（这个需要证实）。当20TB是发生的概率为100%

评论
r5 普通盘 阵列2年 没掉盘！ 掉盘是几率不是必然。

评论

看来得过几天弄个20t的模型试试看

评论

很高兴你能明白我的观点。
BER的产生还要受到后期使用环境的影响（例如供电、温度、震动、工作时间、工作强度等），在环境良好的中心机房中尚且建议使用RAID6，间接证明专业的存储厂家已经重视该问题的严重性。

其实企业硬盘还有个技术叫TLER，是防止由于HDD发现不良区块时，做ECC纠正而导致超时，引致磁盘离线。一般的SATA没有这个功能，有上述原因导致的离线率比企业高，这也是做阵列的隐患。


评论

概率是这么表示，但是BER产生的区块可能会在数据区，也可能在非数据区，这一点也要考虑。以下是我的猜想（RAID5恢复算法我了解不多）

如果在非数据区，根据RAID5恢复算法是条带读取数据。那么以2D+1P为模型，当1D掉线时，会读取2个数据，只要其中一个是空数据，就会判断是整个条带是没有数据（不然的话恢复真的要花很长时间，也不符合条带的定义），也就是说这时候的BER没有导致数据丢失、磁盘下线的话，那么重建的成功率会提高，这是我对网站得出结论有保留的地方。

有人用ZFS的RAID5做检验（数据存放一星期后，做数据校验），发现确实有数据重建现象，如果发生在RAID5重建时，真的是灾难性的。

评论
我之前用5块2t做zfs z1 可以看我之前的帖子，我一周一次数据巡检，没有发现重建，当然盘也不是全满，包括后来的h700p阵列卡4块东芝3t也没发生。希捷2t  x5 r5阵列因为硬盘质量问题 重建过2次，也没搞事情惠普p410i阵列卡。

评论
工程买的DELL服务器。。。抽出个盘重新插上去就重新检测。。要好久好久。。。家用组RAID我还是放弃了

评论

对，想半天该怎么说，被你给讲明白了

评论
ssd大法好，uber最低都是10^-16

评论

desktop 东芝的DT01ACA300和ACA200还是支持CCTL的，人家叫法不一样而已。

评论
同意楼主说的 因为我也计算过这个问题
假设现在有10^14bit数据要做校验回复 我们虽然不能说这一次校验过程肯定会至少出现一个错误 但我们可以计算一个错都不出的概率
((n-1)/n)^m
n是硬盘的BER值 m是校验的数据总量
这个值在m与n在一个数量级的时候 大约是36% n比m大一个数量级时大约是90%
就是说 用普通硬盘 做一次大约12T数据的全盘校验 每三次会有两次失败
简直危险到爆

评论
根据相关网站的公式和我设想，修改一下公式（可能有错）：

BER（SATA）=10^14(估计有50%)=10TB(按硬盘厂家容量计算）
那么当100%时，BER=20TB

以3D+1P为例RAID5阵列（每个磁盘容量为4TB）,发生1D掉线时，磁盘数据使用达到50%（2TB）

20TB/3/2TB=3.33

就是说当重组次数为4的时候，100%会出现BER。相反企业级硬盘可以提高一个级量（33.3次）。

一般家用硬盘质保为三年，就是说三年你只有三次机会重建。
如果是厂家推出产品的话，每生产3.33个就会有这种故障，所以存储厂家会采取RAID6的策略。



评论

哎~
要说R5 不如R6 我服i 要说R5 不如R1 R10 我也服  本身定义上R5 就是提供了一定的容错 又比较经济的。如果不差钱，直接拉台EMC好了 没啥好比的，无非比谁口袋钱多~

关键这论坛 天天有群人叫嚣  R5 不如 单盘  这个让我很蛋疼~~

还有就是那个所谓的出错几率 我一直保持怀疑的态度

按照这个 所谓的理论  且不管是不是56%的出错率，就算是5.6% 的概率足以让 DSM和Qnxp 吃不了兜着走了！还有就是阵列卡上 直接禁止sata盘的 R5阵列了。试想，一个脑子正常的厂家会让一个错误率如此高的东西存在？？

我觉得那些数据是误读而已。

评论

叫法不一样，但具有类似功能磁盘基本是为RAID而设的，其分类是属于企业盘（或者叫NAS）。

评论
想想之前做项目，300GB*400块盘的存储，化50个RAID5 LUN，只有4块热备盘，居然安全跑了4年无故障，也是万幸了

评论

回想到我有时候无视存储池厂家推荐的模型，也是作死的节奏。不过还好是RAID2.0结构。


评论

很久不关注这块了，RAID2.0赶脚和IBM以前推出的XIV存储有点近似啊

评论
直接R1了，反正现在硬盘容量大，还是数据比较重要...

评论

R1倒是好主意，不过如果阵列阵亡的话，双盘的R1，其中单盘是否可以单独用？

评论

可以，我试过...

就是在GEN8上试的，单独拔一块盘出来插到其他机器上，直接认出来并且可以读写，不需要做任何设置。

评论

http://item.jd.com/1731771864.html
同样是EMC的存储，只支持raid10和raid5，没有raid6的选项，注意说明是桌面级的，企业级要多1w。
所有的计算都是对raid5和raid6对比，raid6比raid5好大家都知道，可是jbod和单盘比raid5好的地方是没法说服我的，我看了很多都是再说ber对单盘影响不大，只影响R5重建，可是为什么对单盘影响不大却影响R5重建却没人能说清楚。


评论
俺现在是两个sas4T做的R0，等钱再入2片做R5，前几天闲来无事，试了试单盘2TR0迁移成双盘R1，花了好长时间，盘上数据并不多只有100多G，这个读写压力我认为对于家用盘来说还是有点具体~

评论

   RAID阵列卡芯片（只讨论SOC结构，不然没完没了了）对RAID5恢复的算法，不同的厂家有不同策略，都没有对外公布。最大的疑点就在于遇到UBER时，重建是否会跳过还是放弃，还是到一定程度就放弃？按传统的也是最严谨做法，RAID5重建时会全盘数据扫描（这个在华为技术白皮书里可以找到），找出每个完整的数据才算是成功恢复（要求100%）。也就是说遇到UBER时RAID5的重建会停止。如果不停止，我引述的文章等于白说。
   为什么会这样呢？我猜想是因为RAID5数据是条带化，如果在掉盘重建时，UBER会影响整个条带的校验（校验码是整个条带的关键，是必不可少),涉及数据太大（公式：条带深度×条带宽度），好像连续出现多个坏区，类似于坏道。这时候RAID5在重建，不允许坏区重映射，那么阵列控制卡会判断这个硬盘离线。单盘出现UBER可以通过P运行XOR，来修复。然后重映射坏区，影响不太大。
  RAID1恢复像拷贝文件，出现坏区快那可以选择忽略，然后继续，也不会扫描全盘，差别非常大。
同意你的观点，RAID 5再烂，也比单盘多一道保险。

实际实施过程中，RAID 5经常出问题，很多情况根本不是RAID 5自身的缺陷导致。

我的RAID 5阵列崩溃过一次，因为单盘坏道离线（无TLER），更换硬盘重建过程中电源线接触不良。
后来全部换了更可靠的电源线，阵列就一直稳定运行，没再出过问题。

另外一个洋垃圾SAS盘做的阵列，机箱从小桌子翻到地上，一块盘产生坏道。
SAS盘自动报告坏块，然后重映射，阵列卡回写正确数据，阵列一切正常。
后来连坏块都显示为0了，说明硬盘已完成自我修复（加G表）

另外。。。。我那两块LSI的阵列卡都支持RAID 6，如果数据可靠性要求非常高，做RAID 6即可。
有电池缓存的情况下，R5 R6的性能都很凶残，比单盘快多了。



评论
还好吧。一直4块绿盘R5。之前有块degrade导致raid告警灯亮。换了该硬盘就好了。

评论

谢谢回复，这样倒是不错！买2块8T做RAID1。

评论
天书看完了，有钱上RAID，没钱洗洗睡吧

评论
RAID10怎么样？我现在NAS918+是RAID10

评论

仓库盘完全可以raid1, 有写入性能需要的再做raid10

评论
raid卡？卡上带内存和电池才叫raid卡。主板集成的或者没有内存电池的不配叫raid卡。

评论

有写入性能需要，买了4个8T，可用14T多吧。至少挺安心的吧。

评论
我以前就是DIY NAS上用RAID 5的。
后来扩容一块盘的时候，掉了一块盘，SMART自检都过不去。
更要命的是修复的时候又有一块fail了。

但是最后结果还不错，因为mdadm可以强制重组阵列，于是除了一块实在坏的太厉害的以外，其它盘强制重组，大部分数据都拷出来了。只丢了一个文件。

我个人认为RAID5还是可以信赖的。但是在群晖上就不知道了，如果不能强制重组，那像我说的那种情况基本所有数据就都废了。

评论

非常同意
我只有个人经验，白裙1815+，7块4T红盘Raid5，貌似论坛说的坑都踩上了
目前24*7运行近3年，期间三次单盘有坏道，就拔掉，换新，重建。是的，20T+数据重建需要2-3天。重建失败我还没遇到过。
目前还好
R5总比单盘好吧。

评论
根据我用LSI的经验，R5或者R6，关键还是平时维护，设置好例行的巡检，还有定期进行一致性检查，这样就能避免很多潜在的硬盘故障。
另外不要把盘位用满，最好加一个热备，至少留下一个空位。平时关注一下系统日志，如果某个硬盘有扇区故障，会有相关记录，及时替换。
在硬盘有故障，但还没有挂掉的时候，如果有一个空盘，就能用copyback功能快速替换硬盘，直接将故障盘数据复制到新盘，不需要rebuild，不需要其它硬盘参与，速度非常快。

评论

没掉盘的情况下，r5和r0有区别么.........

现在的问题是掉盘的情况下，r5重建过程中再挂一块，整个整列就没了~~数据丢失100%，
不做r5，全单盘的情况下只损失2块盘的数据，盘越多损失越小~~
个人用户的重要数据保全还要以备份为主，如果重要数据非常多建议上raid1~

顺带一提，上个月我单位一台48盘位存储挂了，raid5，挂1盘，热备顶上重建过程中又挂1盘，数据全丢，60个T的数据，恢复了2个月还没恢复完......

评论
raid5感觉是一种折中的方案，我宁愿选择1:1的raid10。。。

评论

48盘 还做R5 只能说 很勇敢 其他没啥了。。。
我讨论的是4盘 8盘这种。。。

评论
raid5研究了一下又复杂又低效。。raid1就行了啊。

评论

4盘raid10，双盘故障，也有一半几率全挂

评论

那台是老机器了，以前没钱的时候买的~~
后来买的都是4控双活存储了，raid也就提升一点io效率
今年新买的双活全闪，我觉得raid都没必要了~~~

家用这种4盘8盘的全raid5更没有必要了，拿一半的盘出来做r1放重要数据，另外一半做单盘撑容量放电影啥的比较好。

评论

什么raid 也比不了单盘冷备份

评论

我这里是两个RAID5互为备份，没有冷热之分。

当时发帖是2016年2月，5个2TB绿盘做RAID 5

后来2017年2月，进行了升级，5个5TB东芝做RAID 5

2017年3月左右，6个2TB绿盘RAID5，异地备份完成

当然，那个异地备份只有10TB容量，已经快装不下了。
按照计划，明年会升级一次。

顺便说下，单盘冷备在我这里的故障率极高。
因为冷备机器开机极少，硬盘容易放坏，一个盘坏就全灭。
RAID 5好歹可以降级运行，确认一下备份和主文件是否完好，然后再决定下一步。
如果主文件还在，那就把备份的这个RAID 5拆掉重来，也懒得重建了。
如果主文件已经不在，那就用第三台备份服务器，先把降级RAID 5拷出来，再把阵列修好

因为第三备份服务器（4个6TB RAID5）长期闲置，实际上重要数据有三份备份。
只是第三备份不会定期更新而已。。。。
每次我要对主备份服务器进行大规模操作之前，都会把文件全部拷一份到第三备份。
2018年没有任何大规模操作，也就没有拷过。。。。

评论

还有热备份啊，你做raid5不就是需要速度和数据安全性吗的折中吗?
如果要论几率，一半几率是不是也比raid5要低？主要是raid10是1比1奇偶校验，重建也是最容易，最快的。无需什么复杂的算法，因为就是1比1。还有各种云热备份。数据很重要啊。


评论

所以我用R6。
R10容量浪费大，安全性上只能保证单盘故障，重建时候同样需要所有硬盘参与读写。唯一优势大概就是硬件成本比较低。

评论

R10恢复是对位镜像复制 恢复的时候性能下降比R5 R6都要小

评论

不需要xor计算，对芯片负载比较小，但对硬盘的读写负载没区别。从完整的R0卷全读取，失效R0卷全写入

评论

没坏的盘读它做什么 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收
 ·日本留学生活 求个大阪合租
·日本留学生活 自家房招租求
·日本留学生活 东京地区出9成新lv钱包
·日本育儿教育 孩子从国内过来如何学习日语
·日本育儿教育 明年四月横滨招月嫂
·日本育儿教育 请问咋让娃突破识字关？感谢分享中文共读和学习经验的妈妈
 ·中文新闻 东区明星迈克尔·格列柯，53 岁，将在第一次出生两年后第二次
·中文新闻 《爱情岛》明星卡米拉·瑟洛和杰米·朱维特在透露即将迎来第三