日本电子维修技术 装机/软件用三台GEN8打造一个分布式分层存储-硬




发这个贴是源自最初看到有人求36TB数据存储的解决方法(https://www.chiphell.com/thread-1201669-1-2.html)。回帖中的方案各有特色,但苦于那是级别不够不能直接回帖,于是在新手区发了这个帖子。今天升级为天使后才知道原来新手区是不能再访问了。可惜了当初码了那么多字,恨自己没有存盘的习惯。

36TB说大不大,说小不小,未来还有可能再次有扩容需求,所以在我看来采用分布式存储是比较理想的选择。好处是:
初期投入不大(三台GEN8),可以满足需求(3台GEN8有12个盘位,6TB的盘RAID1都行);未来可以横向扩展,不会受限于机箱内部的空间。通常扩展到12个节点,240块盘不是问题(对于GEN8,12个节点也有48块盘了);性能较单台存储更好,并行处理,无论CPU、内存和网络带宽都随存储的增加而增加;能提供更多的IOPS,代价是延迟稍高,不过对于原帖中的视频资料这点延迟相信没有影响;可用性比单台存储更高,不仅盘有容错,即便一个甚至多个节点坏了也不会中断服务,采用两副本的镜像方式,无论替换服务器还是硬盘,重建都很快。

光说不练假把式,为了验证这个想法,乘着某东GEN8特价,购入了3台。来个合影先。

IMG_0460.JPG (191.49 KB, 下载次数: 4)

2015-1-5 22:31 上传



按照已经被这里的前辈趟平的改造之路,升级了E3-1230V2的U,加了16GB内存。要说一台GEN8就够折腾的了,三台一起弄,真的有剁手的冲动。东平西凑了三块希捷2TB的硬盘,有从某东购入了三块同型号的2TB硬盘,勉强把硬盘对付过去,要配齐12块,真不敢想也暂时没这个必要。

IMG_0467.jpg (166.05 KB, 下载次数: 2)

2015-1-5 01:10 上传



同样按照前辈们的指引,为了将来能够满配硬盘,打算从SATA5引导系统,故而从某东购入了3块8GB的Micro SD卡。

IMG_0466.jpg (157.69 KB, 下载次数: 1)

2015-1-5 01:10 上传



从某宝购入了三块Seagate Pulsar.2 200GB SSD。这盘性能很烂,但是好的盘用在第五个盘位的SATA2上也浪费了。而且作为系统盘对于性能的要求并不高。况且这盘4400TBW的写入耐久性很感人。当然更重要的是对于有强迫症的人来说,硬盘当然最好都是Seagate的。

SATASSD.jpg (114.64 KB, 下载次数: 3)

2015-1-5 01:17 上传



最后,纯靠7200转的3.5寸SATA盘,这个存储还是和性能不沾边,于是自然想到用SSD给它加速。让热数据存放在SSD层,冷数据存放在HDD层,从而实现分层存储。此时空闲的PCIe槽正好可以用上。于是某宝购入3块成色相当一般的LSI Nytro WrapDrive 400GB PCIe SSD。

StorageReview-LSI-Nytro-WarpDrive-BLP4-400.jpg (73.9 KB, 下载次数: 2)

2015-1-5 22:21 上传



为什么是这个PCIe SSD而不是别的,当然主要原因是它也是Seagate的产品 ;)还有就是用于加速目的三块卡裸容量有1.2TB,而且性能也还凑合,更重要的是每块其实是由4块100GB的SSD构成。这样每台GEN8除了系统的SSD外,满配的话可以有4块SSD加4块HDD,强迫症再次发作。下面是装入GEN8的样子

IMG_0449.JPG (224.2 KB, 下载次数: 2)

2015-1-5 22:31 上传



启动的时候,可以看到是四块独立的SSD

ILO.jpg (78.37 KB, 下载次数: 0)

2015-1-5 22:21 上传



网络的部分,千兆当然的必须的,每台GEN8的两个网口都做了Teaming,我为使用这套存储的工作站配了一个4口的Intel网卡。

对于硬件部分小结一下。三台GEN8,每台配置如下:
CPU: E3-1230V2内存: 16GB系统盘: Seagate Pulsar.2 200GBSSD层:LSI Nytro WrapDrive 400GB PCIe SSD (100GB x 4)HDD层:Seagate 7200转 2TB HDD x 2

软件篇:https://www.chiphell.com/thread-1213998-1-1.html


评论
三台G8疊在一起真是壯觀
而且很適合疊放的設計,有種整齊感

评论
三台?不错
统统组RAID的话,可以奏出一场完美的风扇奏鸣曲
期待喔


评论
牛,终于看到堆叠放置Microserver Gen8的了。

评论
牛,终于看到堆叠放置MicroServer Gen8的了。

评论
有个问题
如果对存储容量有较大的需求,比如那个36T
那么再添一个阵列卡,多口的那种SAS卡也很常见,大概一千多的价格,扩充至一二十个SATA接口很轻松
是否可以用一台Gen8来搞定?
毕竟这么多Gen8,管理起来是不是会更加操心一些
就连开iLO都要开三个窗口

评论

可以用一个ilo控制多台gen8,见下面截图:

Capture2.PNG (3.81 KB, 下载次数: 0)

2015-1-6 08:08 上传




评论
这配置,e3 散热改造?

评论
土豪呀!!!!!!

评论
刚才某宝找了一下,
LSI Nytro WrapDrive 400GB     3500
E3-1230 V2                              1200
16G ECC                                    1000
Seagate Pulsar.2  200G              3500
Gen 8                                         2599
不算硬盘,单台Gen配齐已经11800了
这是豪无人性啊!!!




评论
靠,土豪啊.........你让我等贱民情何以堪!羡死!

评论

妈妈问我为什么跪在电脑前看帖子,

土豪,请受吾等草民一拜
题外话

看见1230的时候我还在想,有点贵了呢,不升级也可以啊
看见16g的时候我在想,没听说内存降价啊
看见希捷ssd的时候我在想,希捷的ssd不是贵得一比么
看见400g pcie ssd做加速的时候,我终于认识到,我遇到了一位值得交出自己膝盖的豪啊


评论

都是服务器的东西,上1W应该很正常吧
那个阵列卡就是个大头
等你上什么企业级硬盘又是一笔大的开销

评论

原来这个地方的设置就是为了方便集群管理的
受教了
服务器的东西贵,确实有贵的道理

评论

土豪不是你能买得起多少多少钱的东西就算是土豪的

而是一种生活态度

让我们一起来感受一下楼主的云淡风轻:“光说不练假把式,为了验证这个想法,乘着某东GEN8特价,购入了3台。”

看看,楼主只是为了验证某个想法,就一气买了3台gen 8!

还各自配上了顶级配件!

一般人最多也就是用虚拟机,模拟3个nas出来做实验好吧!

评论
三台有ssd有hdd正好可以组个vsan


评论
我还以为LZ加的那些个配件好便宜呢。。。。。。

评论
好强,等着看软件部分

评论
膜拜一下,简直是壕无人性:D

评论
帅气啊,期待更新

评论
膜拜啊。。

现在还在为改机苦恼中呢

评论

可以,你说的方式属于纵向扩展。与横向扩展比各有长处。不过带外接SAS口的HBA卡和SAS的JBOD也都很不不便宜。

评论
LZ这样的土豪还是上刀片吧,MicroServer怎能满足

评论
很想知道这个部分怎么实现,2008R2支持这个功能么,正好能用上我闲置的一块SSD

------------------------------------------------
最后,纯靠7200转的3.5寸SATA盘,这个存储还是和性能不沾边,于是自然想到用SSD给它加速。让热数据存放在SSD层,冷数据存放在HDD层,从而实现分层存储。

评论

2008 R2不行,需要2012 R2及以上的版本。

评论

壕无人性!

评论
说实话,我现在还是没有很好的办法来搞定我那36T以上的方案,求加QQ细聊~~~
我的QQ 84511167

评论
等软件篇---确实豪,一次三台高配.....

评论

楼主方案按1:10的比例配置ssd加速缓存的容量,属于中段存储的特性了,而所以你的36g就要3.6g的固体硬盘。
存储领域的趋势就是一个闪存做缓存或者就是全闪存的方案,另外个就是存储虚拟化。


评论
什么时候发软件部分?这个存储怎么对外发布呢?如果做Vsan,策略请注明。

能画个拓扑图吗?前排围观。

评论
牛,我就一台都还没空折腾呢,就等着看谁做集群呢

评论
留痕膜拜~~~~

评论

ILO Federation可以统一开关机,但是没看到可以集中的打开控制台的。虽然我已经打开这个功能。

Untitled.png (83.2 KB, 下载次数: 1)

2015-1-7 23:43 上传



Untitled2.png (60.5 KB, 下载次数: 0)

2015-1-7 23:43 上传





评论

可以看看软件篇https://www.chiphell.com/thread-1213998-1-1.html

评论

https://www.chiphell.com/thread-1213998-1-1.html

评论
楼主这样设计机器太多,未来管理方面会比较复杂,每台也只有12t的空间

评论

我就是那个36T的作者,我对这方面我完全是小白,求QQ在线交流~~~~

评论

lz的方案对你来说太高端了。。建议直接买成品NAS或者找专业人员帮忙比较好

评论

其实明白原理,一般的搭建不会难。官方有很多的技术白皮书和论坛,非常有帮助的

评论

有问题可以在这里交流。QQ不太方便用。

评论

先感谢了~~~

首先您的方案,对我来说不太实际,成本太高了

我最开始考虑GEN8,其实也是因为分3个区域,灵活管理

但是我这方面的知识,仅仅只在于WIN共享的范围内


另外您升级到E3-1230 V2,但是无风扇散热,温度应该扛不住才对吧

还有很多问题不是很明白,QQ在线聊是更方便的,不知道您周末是否方便

评论

1230V2在GEN8上没有问题
https://www.chiphell.com/forum.p ... ;page=1#pid27127583

我的配置并不是针对你的。不过分布式的架构可以考虑采用。对于你可以就是三台GEN,加上内存、硬盘,加上三个小SSD做系统就成了。CPU不用升级,PCIe的SSD当然也不需要。

周末出差。

评论
谢谢分享。学习了。

评论

编辑掉吧,看到楼主说不是针对视频的那个36T的场景。


评论
太壮观了。。。壕......

评论
问下 楼主,LSI Nytro可以当作系统盘安装系统么?

评论
感谢楼主分享教程,楼主发帖辛苦了。

评论

可以。而且在GEN8上还有一个好处就是你可以配置LSI和内置RAID谁先启动,如果设置Nytro WrapDrive先启动,那么在Nytro WrapDrive的界面中还能再配置那块SSD作为引导盘。

评论
土豪我只能流口水的份了

评论

你可以不升级到1230  缓存的SSD如果要求不高 可以用民用的PCIE或者干脆剩掉上 个H710P 找个硬盘柜 2台G8 +2张710P 带30个盘都无压力


评论
请问光驱位装系统是怎么做的??

评论
实在太6 ,必须给赞

评论

我是参考这个帖子做的。不同的是引导到VHD。
https://www.chiphell.com/forum.php?mod=viewthread&tid=1196090&page=1#pid26837939

评论
这,太豪迈了~,nb

评论
看来我的N54L只能当砖用了

评论

宿主机的启动可以引导到VHD?

评论

是的
http://technet.microsoft.com/zh-cn/library/hh825691.aspx

评论

学习了,谢谢~

评论

那你装的是win7或者win8?
Windows Server Threshold预览版

评论
高端货,只能欣赏

评论

gen8附带的一个简易使用教程就告知了这个玩意儿可以叠叠乐,但是建议最多叠3台。同时HP还推出了一款PS1810-8G交换机,可以和这货一起叠放。。

评论
土豪啊

评论
马一个先,另外楼主gen8按照hp的官方文档码放是不能超过两台的,,,,

评论

我也是,我还想去看看也买那么块ssd。看了楼下说的价格死心了。

评论
分布式的我在linux下部署过FastDFS,便宜又实用。但需要根据api自己开发前端,对普通用户要求有点高。框架如下图

分布式文件系统FastDFS架构剖.gif (49.88 KB, 下载次数: 0)

2015-1-28 18:52 上传





评论
这配置,当然企业用配置要求高,家庭配置楼主有啥建议没有啊,家庭媒体中心,功耗和声音考虑的比较多感觉

评论

Seagate Pulsar.2  200G  这盘现在X宝600块可以搞定。

评论

今后的存储技术的发展走的是简化:以太网硬盘

适用于扩展对象存储的 Kinetic 以太网硬盘| Seagate
http://www.seagate.com/cn/zh/pro ... torage/kinetic-hdd/
携手同行 HCC上希捷展示新存储解决方案_服务器_服务器-中关村在线
http://server.zol.com.cn/542/5426300.html




希捷硬盘
  本次大会,希捷展示了其最新、最先进的云存储产品及解决方案,包括Nytro Pcle闪存卡,Kinetic Chassis, 1200企业级固态硬盘, 企业级15K/10K超能盘,企业级2.5寸/3.5寸海量盘,Terascale扩容盘以及适用于云存储的存档硬盘等,从传统硬盘介质、闪存介质和存储系统多方面展示了公司在云存储方面的综合能力。  希捷Nytro闪存产品集成高性能闪存技术与智能管理软件,可提供极高的性能,减少延迟时间并降低CPU的负荷,能够胜任最严苛的数据库应用和I/O密集型工作负载;希捷Kinetic开放存储平台从根本上重组了传统存储服务器的架构,将面向对象的应用直接连接至存储设备,从而消除了传统堆栈中的多层硬件和软件,降低运营成本高达50%;经过优化适用于各种云计算应用的希捷1200企业级固态硬盘,专为拥有写入密集型工作负载的典型多用户、24X7全天候运行数据中心而设计,为现有的存储架构提供最快的性能以及最低的功耗。  如今,希捷先后与腾讯、百度、中国电信等国内顶级企业进行战略合作,无论从产品还是技术,进行全面合作,共同面对云服务带来的机遇和挑战。此次大会,希捷带来业界最广泛的云存储产品组合。  除了独立展台希捷还与华为合作,联合展出了装备希捷存储产品的FusionServer 5288服务器和OceanStor存储解决方案。


评论
终于可以回帖了,mark一下。

评论
由于离开北京,现打算将这三台MicroServer都出了。只接受北京见面交易,有意的请PM。下面我挂在网上的一台的链接。
https://2.taobao.com/item.htm?id ... .1000925.0.0.ir2ami

评论
这个的确牛

评论
还剩一台,我打算下个周末搬到人工背到上海。如果上海的兄弟有需要,可以当面验货交易。

北京的兄弟如果想要,下个周末前联系我。


评论
直接上全闪AFF吧

评论
整个服务器的功率多大,能否24小时不停止运行,谢谢!

评论

看中你的加速卡 然后再看看链接 里面 并没有。。。。

评论

是的 看过花钱请别人解决问题的 , 没见过花钱帮别人解决问题的, 楼主的层次已经是我等需要仰望的星空了。。。

评论
个人觉得外置8088口很适合扩展,就是小贵

评论

感觉你的cpu性能过剩了。我也不怎么懂,但是我觉得应该双机加盘柜吧。盘柜双raid模块加双电源。牛逼点双机热备加心跳线。但是这个主机也不行不是。最好再加ups。但是,这个就不是家庭服务器了。我的方案便宜简单的多,呵呵,基本上是垃圾组成,6年来也没出啥大问题。对于速度我没啥要求,能达到千兆网络的极限就行了,平时也没有高io应用。我的cpu还是很老的U7500,ms9803,ddr2 2G,火箭raid5阵列卡,普通机箱(后面有一台换了H2),最后还加了minipcie的usb3.0卡。用realVNC管理。1台是8颗2t,后来加的一台是6颗3T。要组成更大的容量也没啥问题。

360276103238652240.jpg (135.31 KB, 下载次数: 0)

2016-8-16 01:37 上传


598843081953845329.jpg (269.2 KB, 下载次数: 0)

2016-8-16 01:37 上传


610547472292289161.jpg (253.49 KB, 下载次数: 0)

2016-8-16 01:37 上传




评论
楼主你太凶猛了

评论
先送上膝盖再去看软件篇

剁手hell很多有米人,但只有楼主这样的我才会写个服字

评论
MS Gen8的单PCI-E永远是瓶颈

数据速度快和走出去不可兼得 电路 电子 维修 一个联想G360拿来的时候是按开关没反应,也没有待机电流,拆机,没发现进水,量没有3V5V,量开关也没有电压,量待机芯片,有19V主供电,量3V5V阻值正常, 电路 电子 维修 上网搜搜新的intel服务器平台消息,就看了STH评测的X11SPH-nCTF,LGA3647的主板 Supermicro-X11SPH-nCTF-Six-Plus-Two-RAM-Slots.jpg (215.09 KB, 下载次数: 1) 2017-8-12 15:45 上传
 ·日本中文新闻 《孤独的美食家》第十季10月开播
·日本中文新闻 名侦探柯南又双叒被骂了
·日本中文新闻 前AV女优入围日本文坛最高奖
·日本签证办理 专门毕业,连续三年每次只给一年签证,什么情况?
·日本签证办理 有没有埼玉县在办理归化入籍的小伙伴呀 一起讨论下
·日本签证办理 请问现在换护照,10岁以下是不是小孩可不到场,父母一方...
·日本华人网络交流 这是啥操作啊?
·日本华人网络交流 商家活动,花五六百日元就可以点餐吃饱
·日本华人网络交流 总统拜登骑车出行当街摔倒
 ·澳洲新闻 澳男遭昔日好友暴力追债,对方威胁:烧你工厂,杀你全家(组
·澳洲新闻 学校放假首日,家长忙着带孩子度假,墨尔本机场挤满人(组图

维修经验

CPUcpu-z 1.77版低调发布

日本维修技术更新: New benchmark “submit and compare” feature New clocks dialog reporting all system’s clock speeds in real-time Preliminary support for Intel Kaby Lake AMD Bristol Ridge processors 主要是增加了支持I、A两个新架构的 ...

维修经验

CPU这几天经常开机黑屏,热重启后又正常

日本维修技术这几天经常开机黑屏,热重启后又正常,今天热重启也不管用了。折腾半天总算点亮,显示超频失败,以前出这个画面我是不理它的,直接重启就能正常进系统了,今天不敢托大,因为 ...

维修经验

CPU超频求助!关于华擎H170和6700K

日本维修技术问题见楼主的show贴 https://www.chiphell.com/thread-1634895-1-1.html 这次华擎的H170 Hyper最大的特色应该是自带时钟发生器可以自由超外频 可是楼主好久没有折腾超频了。。。 两图中除了CPU外频 以 ...

维修经验

CPU液态金属会侵蚀cpu核心吗?

日本维修技术前阵子看到有人说,液态金属时间长了会侵蚀cpu铜盖,那么问题来了,这货会不会侵蚀核心呢? 评论 这玩意儿好像只对铝起反应 评论 不是说,cpu的盖子是铜的吗。。。 评论 不会,核 ...

维修经验

CPUm6i究竟支不支持e3 1231v3

日本维修技术官网上看支持列表没写有e3 1231v3,装机帖又有人晒,百度也没个明确答案,那究竟能不能点亮?有在用的chher说一下么 评论 升级最新bios肯定可以支持 评论 我的p67evo官网上也没说支持12 ...

维修经验

CPU华擎 HYPER 妖板 正确玩法

日本维修技术600元的 B150,10相供电,释放洪荒之力 注意必须官网 Beta 区的 BIOS 有 AVX 的 CPU 可能会掉缓存 启动时按 X 键激活 SKY OC,重启后进入 BIOS 160924164727.jpg (95.63 KB, 下载次数: 1) 2016-9-24 17:47 上传 ...

维修经验

CPUE5 2686 V3和i7 6800K如何选择

日本维修技术默认用,不超频,两者功耗是一模一样的 E5 2686 V3:2.0主频,3.5睿频, 18核心36线程 ,45M L3 咸鱼大约2500~3000元 i7 6800K : 3.5主频,3.8睿频 ,6核心12线程 ,盒装3000元 评论 性能应该是26 ...

维修经验

CPUHD530硬解4K能力还是有点弱呀!

日本维修技术播放器用PotPlay 64bit,各种优化后,跑4K @120Hz视频只能到70帧左右的速度,勉强能用! 显示器用的4K的优派VP2780 未标题-1.jpg (211.97 KB, 下载次数: 0) 2016-9-26 21:29 上传 评论 这个估计你没优化 ...

维修经验

CPU6900k 1.25V到4.2体质怎么样

日本维修技术如图,体质怎么样,ring是35,没敢试了,都说ring高了毁硬件 评论 不错的U,但不算雕,上4.4就大雕了,这电压上4.5的目前没见有人发图 评论 谢谢前辈告知 评论 我这个用1.2V超的4.2,R ...

维修经验

CPUI3 6100 华擎B150M pro4超4.5g测试。

日本维修技术看看论坛没多少i3 6100的帖子,就转下自己发的show贴里面的数据,给大家参考下。家里还有当年的神U i3 540 oc 4.5G在给老妈用。 不知道数据上正常吗?有6100的朋友可以告诉下,另外是不有 ...

维修经验

CPU7系u会兼容100系主板吗?

日本维修技术RT,听说要推200系板,100系还能用吗以后。。 评论 兼容的 评论 感谢!以后换u就行了,目前消息200系板会有新的特性吗? 评论 24条PCI-E 3.0通道、支持Intel Optane混合存储技术、十个USB 3 ...

维修经验

CPU有心入5820k了,求教下温度问题

日本维修技术一直徘徊在6700k和5820k之间,6700k现在这德行直接把我推向了5820k啊,从2600k升级上来,三大件都要换,现在唯一疑惑的是IB-E ex这种顶级风冷能不能压住4.5g的5820呢?毕竟刚刚买一个多月。 ...

维修经验

CPU6600&6600K才100的差价

日本维修技术太少了吧。。。 6600.JPG (106.91 KB, 下载次数: 0) 2016-10-1 10:30 上传 评论 毕竟只是i5而已…… 评论 上z170 6600也能超,等于没区别,差价能有100已经不错了 评论 然后又见不超频人士推荐超频 ...