日本电子维修技术 NASNAS磁盘阵列组织方式与文件系统总结




准备更新NAS,顺便总结下目前大多数所有主流磁盘阵列的特点及性能功能。
包括:主板芯片组与软RAID卡、LVM、群晖、硬RAID卡、ZFS存储池、Windows存储空间(池)、unRAID

第一大类为主板芯片组与软RAID卡、Linux下的madam、群晖、硬RAID卡,为传统RAID阵列模式。

RAID0:n盘组成,容量为最小盘的n倍   ,顺序读写速度为最慢盘的n倍  ,任意硬盘故障则数据全部丢失。
RAID1:n盘组成,容量为最小盘的容量  ,顺序读写速度为最慢盘的速度,只要有一块硬盘正常工作,数据就不丢失。
RAID5:n盘组成,容量为最小盘的n-1倍,顺序读速度为最慢盘的n-1倍 ,写速度取决于方式,故障任意一块硬盘数据不丢失,故障两块硬盘数据丢失。
RAID6:n盘组成,容量为最小盘的n-2倍,顺序读速度为最慢盘的n-2倍 ,写速度取决于方式,故障任意一或两块硬盘数据不丢失,故障三块硬盘数据丢失。
RAID10:几对硬盘先做RAID1,几个RAID1再做RAID0
RAID50:几块硬盘先做RAID5,几个RAID5再做RAID0
RAID60:几块硬盘先做RAID6,几个RAID6再做RAID0
JBOD:多块硬盘首尾相连,故障某块硬盘则该硬盘数据丢失,其余硬盘数据不变。

一、主板芯片组与软RAID卡——Intel主板芯片组、LSI 9240-8i无缓存阵列卡等
支持:RAID 0、1、5、10

扩容方式:以大盘换小盘(如2x1TB→2x2TB)、向阵列里添加新硬盘(如2x1TB→3x1TB)
升级方式:双盘RAID1→三盘RAID5
缓存:无

优点:便宜
缺点:RAID5无缓存,写入速度慢,如H170芯片组四盘RAID5写入只有25MB/s
          RAID5时消耗CPU资源
          RAID5无BBU(电池)保护,断电时可能故障

二:madam——Linux下的软件阵列,例如Openmediavault系统自带
支持:RAID0、1、5、6、10
扩容方式:以大盘换小盘(如2x1TB→2x2TB)、向阵列里添加新硬盘(如2x1TB→3x1TB)
升级方式:双盘RAID1→三盘RAID5→4盘RAID6
缓存:无

优点:便宜
          RAID5环境下写入速度也可超过100MB/s,例如3x1.5T绿盘写超100MB/s
缺点:RAID5时消耗CPU资源
          RAID5无BBU(电池)保护,断电时可能故障


三:群晖——实质上使用了Linux下的madam和LVM(逻辑卷管理)
支持:RAID0、1、5、6、10、JBOD、SHR
扩容方式:以大盘换小盘(如2x1TB→2x2TB)、向阵列里添加新硬盘(如2x1TB→3x1TB)
升级方式:双盘RAID1→三盘RAID5→4盘RAID6
缓存:高端型号可选SATA SSD缓存

SHR利用了LVM,可以更大化利用磁盘空间,如3TB+4TB+4TB的情况

普通RAID5,可用空间为n-1倍最小盘容量,(3-1)x2=6TB

捕获.PNG (5.61 KB, 下载次数: 0)

2017-8-17 15:50 上传


SHR,可用空间为6TB + 1TB,仍然保持了故障一盘数据不损失的特性,也利用了传统RAID不能利用的空间。

捕获.PNG (18.21 KB, 下载次数: 0)

2017-8-17 15:50 上传



优点: 易于使用,开箱设置即可
           RAID5环境下低端产品写入速度也可超过100MB/s,例如DS416
           高端产品可使用SATA SSD缓存提升阵列的随机读写(例如DS1517+/1817+)
缺点: RAID5、6无BBU(电池)保护,断电时可能故障(虽然我的RAID5没问题,但也有悲剧的,例如这个)


四:硬RAID卡——LSI 926x/927x/936x、Dell H710/H730等自带缓存的阵列卡
支持:RAID0、1、5、6、10、50、60
扩容方式:以大盘换小盘(如2x1TB→2x2TB)、向阵列里添加新硬盘(如2x1TB→3x1TB)
升级方式:双盘RAID1→三盘RAID5→4盘RAID6
缓存:板载DDR3内存颗粒(设置为Write Back时显著提高RAID5写入性能)
          LSI卡可选Cachecade功能,使用SATA/SAS SSD缓存

优点:方案较为成熟。
          RAID5写入速度接近n-1倍单盘速度。
          可使用SATA/SAS SSD缓存提升阵列的随机读写(Cachecade),土豪可花1万购买LSI 9460-16i使用NVME SSD作为阵列缓存
          可购买BBU(电池)模块在断电时保护缓存内数据。
缺点:相对较贵(千元以上)

第二大类为ZFS存储池、Windows存储空间(池)、unRAID,为池存储形式。

可将单块硬盘或磁盘阵列加入存储池,存储池容量等于各成员容量相加,成员损坏则存储池文件损坏

四、ZFS存储池
支持:条带(RAID0),镜像(RAID1),RAID-z(类似RAID5),RAID -z2(类似RAID6),RAID-z3(允许3盘故障数据不损坏)
扩容方式:以大盘换小盘(如2x1TB→2x2TB),添加设备进入存储池,不能向阵列里添加新硬盘(如3x1TB RAID-z→4 x1TB RAID-z)
升级方式:
缓存:使用系统内存作为读写缓存(ARC)
          使用SATA/SAS/NVME SSD作为读缓存(L2ARC)和写缓存(ZIL)

优点:免费(Freenas&Nas4free)
          RAID-z/z2/z3读写速度很快(400MB/s+,例如这个)
          免费支持高性能,支持使用SATA/SAS/NVME SSD缓存加速,支持使用系统内存缓存加速(几十GB/s读写)
          RAID-z/z2/z3没有传统RAID5/6的Write Hole,不会因为断电导致阵列崩溃,不必配备BBU(电池)
缺点:文件系统碎片化,长时间后读写性能严重下降(例如这个“massive drop in performance”),且无法进行碎片整理,Oracle建议在池里来回复制文件以减少碎片
          不能向已有阵列里添加新硬盘,也不能进行RAID模式升级迁移(不能RAID-z→RAID-z2),只能向存储池添加设备
          存储池内的设备默认被均衡读写,类似RAID0,一旦一个设备故障,有可能丢失全部文件(存储池里添加单个硬盘风险很大,添加镜像或者RAID-z等相对安全)
          对于一个启用了数据去重的数据集,如果直接删除,会产生bug,最终导致整个池崩溃

五、Windows存储空间
支持:
简单——所有硬盘容量简单相加
双向镜像——每个文件复制为两份存放在两个不同的硬盘上,可用空间为所有硬盘容量相加的一半,允许一块硬盘故障
三向镜像——每个文件复制为三份存放在三个不同的硬盘上,可用空间为所有硬盘容量相加的三分之一,允许两块硬盘故障
奇偶校验——类似RAID5,但须使用powershell命令手动指定“列数”,否则可能导致空间浪费

扩容方式:以大盘换小盘(如2x1TB→2x2TB),添加设备进入存储池,向阵列里添加新硬盘(如3x1TB 奇偶→4 x1TB 奇偶)
升级方式:

双向镜像和三向镜像没有涉及RAID5一样的奇偶校验,读写性能接近单盘性能,基本不占用CPU资源,但空间浪费大。
简单模式下,当剩余空间足够时,支持从存储池删除硬盘,被删除硬盘上的文件会被系统自动转移到其他硬盘上。
对于S.M.A.R.T健康状况不佳的硬盘,将其从存储池删除,可以防止硬盘后续故障时导致的数据丢失。
但此法只适用于有征兆的硬盘故障,硬盘突然故障时仍然会丢失数据。

奇偶校验的写入速度慢(例如30MB/s),但可通过使用SSD缓存补偿。(一次性写入大量数据,缓存满了以后还是会掉到原来的速度)

六、unRAID/FlexRAID/SnapRAID

使用类似RAID-4技术,由一或两块校验盘(黑)+n块数据盘组成(绿)
校验盘的容量要大于每块数据盘容量,阵列总容量为数据盘容量之和(4+4+4+3+3+3+2)
一或两块校验盘分别可以承受一或两块硬盘故障

扩容方式:以大盘换小盘(如1TB→2TB),向池里添加新硬盘(添加比校验盘更大的盘时,该盘自动成为校验盘)

优点:对数据盘容量没有规定,可方便添加不同容量的硬盘进入阵列,总容量直接相加
          支持SSD做写缓存以提高写入性能
          每颗数据盘分别独立,使用XFS文件系统,可独立在其他Linux电脑上读写
          即使故障盘数超过可承受数量,也仅丢失故障盘上的文件,正常盘上文件不受影响(RAID-5/6一旦阵列崩溃,所有文件丢失)
          文件共享时,自动整合所有硬盘内数据(例如访问“电影”文件夹时,该文件夹的内容为每块硬盘上的“电影”文件夹相加)

缺点:依据盘数,需购买不同价格的软件许可,系统必须保持在线以验证许可的有效性
          写入数据时,目标盘和校验盘写,其他盘读,(RAID5为所有盘同时读写),无缓存时写入速度受限
          无读缓存,读文件时性能为单盘读性能(RAID5为n-1倍单盘读性能)
          添加、替换硬盘时必须停止阵列运行(普通RAID支持在阵列运行时后台操作)






评论
技术贴,先顶再看。

评论
总结的不错啊!学习了,多谢楼主分享

评论
server存储空间,用着还行,休眠电源管理没问题
某些raid无法休眠,硬盘24小时不停转
家用,只选能支持电源管理,性能其次

评论
把zfs的风险说的厉害了,感觉不堪一用啊。一直简单用zfs飘过

评论
技术贴,简洁明了,赞

评论

看完了,后面介绍unRAID和存储池的部分学习了。谢谢分享!
自己感觉群晖的SHR简单好上手。
关键数据拿一块移动硬盘冷备份,普通电影美剧的丢了无所谓,留一份目录结构就行
数据量不大的话其实选择RAID 6或者RAID-z2,感觉适合大多数人。


评论

关于freeNAS补充2点:
1.zfs必须用ecc内存
2.freeNAS扩容还算方便,新建一组阵列,加到同一个volume(卷?)下即可,对volume上的dataset是透明的。




评论

ECC内存不是zfs特定需要的,zfs开发者称,对于任何环境,为了保障数据可靠,ECC内存都是有好处的。

你加的不是Volume,而是Pool,Pool里的成员彼此类似于RAID0的关系,文件会被平衡写入各成员,设任何一个成员故障,都会导致部分数据丢失,把单个硬盘加到池里有风险,加mirror或者raid-z就好的多。

评论

1.zfs是必须ECC内存的,我前一阵子组FreeNAS,用普通内存,文件总是出错,系统基本不可用了,搞到我怀疑人生了,后来换成ECC内存正常了,至今存了15T左右的蓝光了也没出过错,记得那时候搜到过一些文章,讲了讲为什么zfs这种软raid必须ecc内存。

2.学名上应该是叫zpool,但是到操作页面里,就显示为volume了....我也懒得区分了。但是看你说的我好忐忑啊,比如我目前zpool里是一组4T*6的raidz1阵列(暂且叫A阵列吧),以后快要满了我扩容的时候,再向zpool里加一组raidz1(暂且叫B阵列吧),难道A或者B中,某一块儿硬盘故障了,我整个zpool都完蛋了?raidz1不是可以允许1块硬盘故障,进行替换修复的吗?




评论

Raid-z整个完蛋以后,池才会出事。不过这样利用率不高啊,两个RAID-z1还是不如所有盘一起作RAID-z2更好(最多坏两块盘和随便坏两块盘的区别)
我指的是那些直接把单块硬盘往池里塞的那些,还是很有风险的。


评论
还差个分布式存储←_←

评论

只能说,每个人需求都不同吧。我前一阵子选freeNAS,没用硬raid的方式,主要就是考虑freeNAS扩容对于我这种个人用户来说,还是挺方便的。我预算不够一次性挂满20几块硬盘,只能一批一批的慢慢扩展。比如今年我用4T,等6T或者8T价格降下来了,就用大容量的盘组阵列加到Pool里就可以了。硬raid那种在线扩容、升级啥的,对于我这种普通用户来说,麻烦又耗时.....

评论
到底哪种比较好呢。。。虽然写了优缺点,感觉用群晖用SHR比较好,要是用gen8做虚拟和黑裙的话,是不是还是raid5好点?

评论
谢谢楼主的总结。

对于群晖,经过各种爬文学习,结论是家用的话basic方式最合理,注意多备份即可

评论

分布式存储那么多……

评论

basic,重要的文件每个盘都存一份,我目前是这么办的

评论

补充一点,所有阵列方式都只提供冗余而不提供备份。不管哪种阵列方式,本质上都是把单盘失效风险扩散至整个阵列,而阵列安全等级是在降低风险扩散的后果,尽可能降低因阵列的引入而带来的额外风险。阵列就是扩容的权衡

评论

zfs优缺点都有

最理想的情况是全SSD一次插满,iXsystem就是这么干的

评论
知识贴mark,感谢分享。看起来还是硬raid卡省心省事,就是花点钱

评论
好帖子!收藏学习,之前一直不是太明白的。

评论
非常有用~ 感谢~

评论
技术贴,简洁明了,赞

评论
unraid不错啊,有免费版就基本上普及了

评论

相比ZFS传统硬RAID还有个缺点,掉盘后重建阵列需要重写约整个盘容量大小的数据以重建阵列,而ZFS只需要重写已写入的数据以恢复阵列(描述不严谨),所以ZFS重建要比硬RAID快,程度视已写入数据量而定。并且ZFS的盘拔出来再插回去后,可以增量重建,而硬RAID只能整体重建(应该是,没试过)。
我把我ZFS mirror改成ZFS raidz(不是转换),2x2T+2x3T,约2T的数据,大概3个小时就完成了resilvering重建

评论

这种与文件系统相结合的软RAID都可以只重建有数据的部分
微软的存储空间也是这样
硬件阵列,Linux下的madam都不行,只能重建全盘
ZFS如果能支持阵列转换和碎片整理就完美了……
然而微软的存储空间也不支持阵列转换


评论
学习了,没那么多硬盘阵列接触的少

评论
用的gentoo linux + ZFS,跑plex+flexget+transmission 。三组zfs,总共24T。
1、flexget脚本自动追踪PT RSS下载,可以自动追电视剧,也可以自动追你的收藏
2、transmission性能超强悍,没有之一
3、plex可以很好地支持streaming,不管去哪里,我去南半球都能继续看我的电视剧。自制字幕抓取agent,搭配cgi处理rar,外加大淘宝的1元proxy支持,已经完美。
4、zfs挂过一块老硬盘了,监控脚本及时短信报警了。替换毫无压力。

评论
ZFS 的杀手特性是快照啊

评论

一看就是国内用户,国内用plex很少
一般用哪里的字幕比较好?
第一句话好像有语病,没看懂
subhd,163sub

评论

对,国外
谢谢

评论

高手,学习了,硬盘能休眠吗?

评论

如果你是指spin down,配置对了就可以。

评论

btrfs也可以……lvm也可以……

COW的文件系统实现快照很容易,但会造成碎片化

评论
分析得不错

办公室有两个存储,一个是硬阵列卡,一个是FreeNAS
FreeNAS易用,但是数据安全方面我还没弄懂,只是简单做了一个阵列。

家里有很多个存储,大部分是硬阵列卡,还有几个老机器是单盘,已经计划淘汰。

在线扩容这种需求,对于存储设备较少的用户,非常重要。
对于我这种存储已经构建成体系的用户,基本没有需求。。。。

升级阵列之前,先检查一遍本地备份是否正常,再更新一下异地存储备份,确保同步。
然后就是。。。。直接删了阵列,换新盘,重新建阵列。。。。
全部弄好以后把数据拷回去,容量大了确实有点费时间,这是缺点。

顺便吐槽一下,今年SSD涨价,打乱了我原先的计划:前台主机纯SSD,后台大容量磁盘阵列。
现在前台的机器上也有大容量机械盘,存储层次模糊不清。

评论
请问LZ,使用LSI 9460-16i,有12块三星850 PRO(SATA SSD),使用什么方案最好呢?

评论

我觉得肯定是zfs, raidz2

评论
这个文章总结的相当到位,感谢分享

评论
技术贴,收藏~~

评论

ZFS的文件格式在windows下支持不好呀,我主要考虑速度,当然在能保证数据安全的前提下。

评论

你是想win下用zfs服务器下的文件夹? 没问题。

评论

不是,我打算系统装到主板上的M2接口的SSD上,阵列卡挂12块SSD,做数据盘。

评论

如果你的系统是指vmware,然后虚拟机安装win操作系统和一个虚拟化的zfs系统(omnios),那是没有问题的。  比如我,就是这样处理的

评论

额...不是,系统是win10,我打算把原来NAS上的SSD(https://www.chiphell.com/thread-1684953-1-1.html)拆下来放到台式机上用,NAS上用SSD发现无法发挥SSD的性能...

评论
目前是 芯片组raid5 加server 2016的分层储存池 512g的ssd层外加100g回写缓存,非常舒服

评论

我是直接windows镜像卷或者带区卷,配合PrimoCache
之前我用的是NMR8110i,效果是可以,但是发热实在是不省心


评论
好东东,收藏了,谢谢楼主分享

评论

PrimoCache遗憾的是SSD只能做读缓存不能做写缓存,内存倒是可以做读写缓存

评论

win系统都行。 另外ssd可以给nas做读写缓存,你最好有万兆网络,因为zfs性能爆表。

评论
学习了  目前是9460 16i
加8个HE8 8T HDD 加3个P3600 1.2T
9460 16i 应该默认就开启了cachecode  ,
但是目前又买不到94XX专用的nvme盘连接线 现有U2线材插上无法识别,
试过了9400 16i升级固件后也一样无法识别
所以我组阵列想配置SSD CACHE
只能选择添加SAS SSD 手边又刚好没有这玩意。
哎,只好暂时搁置了

评论

这卡牛啊,不过不知道这卡是可以拿NVME做cache或者RAID还是只能当个PCIE交换机用?

评论
赞美楼主,学习一下。

评论
我一直用的win自带的储存池 感觉家用完全足够了

评论
Windows那个应该叫分布式存储,目前企业级都向这个方向发展

评论

LSI的这一代卡对nvme感觉支持并不是很全面,

9400 16i是相当于一个4口PLX交换机
可以连接4个全速或者8个半速NVME 盘直通
但是官方固件提供了两个版本 一个是支持nvme的三模式混合,一个是SATA+SAS双模式


9460 16i的nvme支持就更简陋,
新版的LSI SA软件和EFI BIOS里对于nvme的选项几乎一个都没见到,
速率切换都没有,
估测还在完善当中把。反正现在也不能用U2线材,等俩月看看再说

评论

感觉这些卡要么是HBA,要么是连接Dell或者supermicro的专用机箱的(带SAS/NVME混合背板)

评论
技术贴收藏!白群晖我用BASIC模式,黑群晖我用NT格式管理。备份我用仓库盘定期备份,挂PT不做备份。

评论
现在遇到了奇偶校验性能低下的问题,现在是3块4t机械和一块500g ssd,这样可以用ssd加速性能吗?提前谢谢楼主! 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号,不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚,因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗? 评论 认真看,认真瞧。果然有收
 ·日本留学生活 求个大阪合租
·日本留学生活 自家房招租求
·日本留学生活 东京地区出9成新lv钱包
·日本育儿教育 孩子从国内过来如何学习日语
·日本育儿教育 明年四月横滨招月嫂
·日本育儿教育 请问咋让娃突破识字关?感谢分享中文共读和学习经验的妈妈
 ·中文新闻 东区明星迈克尔·格列柯,53 岁,将在第一次出生两年后第二次
·中文新闻 《爱情岛》明星卡米拉·瑟洛和杰米·朱维特在透露即将迎来第三

维修经验

CPUcpu-z 1.77版低调发布

日本维修技术更新: New benchmark “submit and compare” feature New clocks dialog reporting all system’s clock speeds in real-time Preliminary support for Intel Kaby Lake AMD Bristol Ridge processors 主要是增加了支持I、A两个新架构的 ...

维修经验

CPU这几天经常开机黑屏,热重启后又正常

日本维修技术这几天经常开机黑屏,热重启后又正常,今天热重启也不管用了。折腾半天总算点亮,显示超频失败,以前出这个画面我是不理它的,直接重启就能正常进系统了,今天不敢托大,因为 ...

维修经验

CPU超频求助!关于华擎H170和6700K

日本维修技术问题见楼主的show贴 https://www.chiphell.com/thread-1634895-1-1.html 这次华擎的H170 Hyper最大的特色应该是自带时钟发生器可以自由超外频 可是楼主好久没有折腾超频了。。。 两图中除了CPU外频 以 ...

维修经验

CPU液态金属会侵蚀cpu核心吗?

日本维修技术前阵子看到有人说,液态金属时间长了会侵蚀cpu铜盖,那么问题来了,这货会不会侵蚀核心呢? 评论 这玩意儿好像只对铝起反应 评论 不是说,cpu的盖子是铜的吗。。。 评论 不会,核 ...

维修经验

CPUm6i究竟支不支持e3 1231v3

日本维修技术官网上看支持列表没写有e3 1231v3,装机帖又有人晒,百度也没个明确答案,那究竟能不能点亮?有在用的chher说一下么 评论 升级最新bios肯定可以支持 评论 我的p67evo官网上也没说支持12 ...

维修经验

CPU华擎 HYPER 妖板 正确玩法

日本维修技术600元的 B150,10相供电,释放洪荒之力 注意必须官网 Beta 区的 BIOS 有 AVX 的 CPU 可能会掉缓存 启动时按 X 键激活 SKY OC,重启后进入 BIOS 160924164727.jpg (95.63 KB, 下载次数: 1) 2016-9-24 17:47 上传 ...

维修经验

CPUE5 2686 V3和i7 6800K如何选择

日本维修技术默认用,不超频,两者功耗是一模一样的 E5 2686 V3:2.0主频,3.5睿频, 18核心36线程 ,45M L3 咸鱼大约2500~3000元 i7 6800K : 3.5主频,3.8睿频 ,6核心12线程 ,盒装3000元 评论 性能应该是26 ...

维修经验

CPUHD530硬解4K能力还是有点弱呀!

日本维修技术播放器用PotPlay 64bit,各种优化后,跑4K @120Hz视频只能到70帧左右的速度,勉强能用! 显示器用的4K的优派VP2780 未标题-1.jpg (211.97 KB, 下载次数: 0) 2016-9-26 21:29 上传 评论 这个估计你没优化 ...

维修经验

CPU6900k 1.25V到4.2体质怎么样

日本维修技术如图,体质怎么样,ring是35,没敢试了,都说ring高了毁硬件 评论 不错的U,但不算雕,上4.4就大雕了,这电压上4.5的目前没见有人发图 评论 谢谢前辈告知 评论 我这个用1.2V超的4.2,R ...

维修经验

CPUI3 6100 华擎B150M pro4超4.5g测试。

日本维修技术看看论坛没多少i3 6100的帖子,就转下自己发的show贴里面的数据,给大家参考下。家里还有当年的神U i3 540 oc 4.5G在给老妈用。 不知道数据上正常吗?有6100的朋友可以告诉下,另外是不有 ...

维修经验

CPU7系u会兼容100系主板吗?

日本维修技术RT,听说要推200系板,100系还能用吗以后。。 评论 兼容的 评论 感谢!以后换u就行了,目前消息200系板会有新的特性吗? 评论 24条PCI-E 3.0通道、支持Intel Optane混合存储技术、十个USB 3 ...

维修经验

CPU有心入5820k了,求教下温度问题

日本维修技术一直徘徊在6700k和5820k之间,6700k现在这德行直接把我推向了5820k啊,从2600k升级上来,三大件都要换,现在唯一疑惑的是IB-E ex这种顶级风冷能不能压住4.5g的5820呢?毕竟刚刚买一个多月。 ...

维修经验

CPU6600&6600K才100的差价

日本维修技术太少了吧。。。 6600.JPG (106.91 KB, 下载次数: 0) 2016-10-1 10:30 上传 评论 毕竟只是i5而已…… 评论 上z170 6600也能超,等于没区别,差价能有100已经不错了 评论 然后又见不超频人士推荐超频 ...