日本电子维修技术 装机/软件生命在于折腾,PowerEdge R730搭建ESXI环境




先简单说一下案发现场的情况

一、PowerEdge R730一台,出厂主要性能部件如下

2X 英特尔至强 E5-2603 v3 1.6GHz,15M 缓存,6.40GT/s QPI,无Turbo,无 HT,6C/6T (85W)

PERC H730 集成 RAID控制器, 1GB 缓存
3X 600GB 10K RPM SAS 6Gbps 2.5英寸热插拔硬盘 RAID5
2X DDR4 8GB RDIMM, 2133MT/s, 双列, x8 带宽
双个. 热插拔, 冗余电源(1+1), 750瓦
4口 NetXtreme BCM5720 Gigabit Ethernet PCIe

二、虚拟平台搭建
Dell官网下载了R730对应的ESXI 6 ISO
一个闲置sandisk 16G U盘插入机箱内置的USB口
idrac虚拟控制台远程挂载ISO安装到U盘,设置U盘启动
看到ESXI反人类华丽界面,配置管理网卡和IP
至此,ESXI主机环境all the green(出击脸)

三、虚拟机搭建描述(附赠问题!)
测试环境下先搭建两台CENTOS
原厂三块SAS的RAID5 分配给虚拟机系统空间另外再用两块1T的盘组RAID1,挂载上去做资料盘
再随便用一块SSD插上去做ESXI的缓存盘(840EVO:啊~~我不要做这么随便的盘!)

那么,问题来了:
卑鄙无耻下流的DELL在13代服务器上的全系阵列卡阉割了LSI原厂的cachecade功能

QQ截图20160130180212.jpg (80.44 KB, 下载次数: 0)

2016-1-30 18:06 上传



然后,Dell说”LSI的那个都没人用呢,所以我和sandisk携手推出了更坑钱的DAS Cache!“”小伙伴们,快来买授权吧!“

我TM都是进入阵列卡bios界面设置半天找不到cachecade选项,才出来翻资料......
Dell你怎么能这样,我TM还是个孩子啊!我又不会去找原厂固件强行刷入你的阵列卡!

SO,只能启用VMware在enterprises plus版本中提供的Flash Read Cache

QQ截图20160130182209.jpg (113.05 KB, 下载次数: 0)

2016-1-30 18:22 上传



虚拟化服务器端闪存vSphere Flash Read Cache 可虚拟化服务器端闪存,从而提供一个可大幅降低应用延迟的高性能读缓存层。 缓存对虚拟机完全透明,无需任何客户机代理。 vSphere Flash Read Cache 支持按每个 VMDK 的精确度分配闪存资源,从而提供 vMotion 一致性读缓存以及与 DRS 的集成来进行初始安置。
可靠和经济实惠的服务器端闪存- 以 PCIe 卡或固态驱动器形式出现的服务器端闪存为 vSphere 环境提供了可靠和经济实惠的存储介质。 服务器端闪存提供了一个新的低延迟存储层,可以利用该层来以性价比逐渐提高的方式使数据靠近虚拟机。



- See more at: http://www.vmware.com/cn/product ... thash.efBRxspv.dpuf

现在陷入了选择迷茫大阵
A方案1.SSD接入阵列卡,选择non-raid模式,在ESXI中能直接识别为SSD,设置为缓存
2.SSD接入阵列卡,选择单盘raid0模式,在ESXI中不能直接识别,需要手动标识为SSD,随后设置为缓存
以上两种有啥区别?!
求解!

B方案:
SSD不接阵列卡,接入主板上的SATA接口

基于现在整个ESXI的磁盘IO是从阵列卡PCIE接口走的考虑
作为缓存的SSD避开阵列卡从另外的SATA通道走是否在高并发磁盘请求时有帮助?

接下来又衍生出了一些其他问题,各位老司机请别厌烦看我一一道来。

衍生问题1:
H730 mini阵列卡自带电池和1G 缓存,是否可以在阵列上两个RAID缓存策略都用write back来代替writre through
那如果接上阵列卡上的SSD缓存盘,应该采用何种阵列卡的缓存策略呢?

衍生问题2:
现在在ESXI主机上看到的储存情况如下,硬件加速都是”不受支持“状态
查阅了vmware文档也没看明白,请问有配置ESXI的兄弟打开过这个硬件加速支持的么?

QQ图片20160130184619.png (11.48 KB, 下载次数: 0)

2016-1-30 18:48 上传



问题较多,文字较乱,请见谅
希望大神、老司机们各种乱入赐教啊!



评论
你这玩得太高级 ,菜鸟帮你顶一下让人看到

评论

服务器和家用产品比价格可能高级点,但是问题和高级无关啊....
就是缓存+阵列卡设置的问题,还有ESXI环境的问题
我看坛子里面玩这些的大神很多,所以求解答.....
这段时间找文档翻死我了....

评论
小白帮不上楼主。

只知道一点,戴尔服务器跑esxi,需要购买通过VMware认证的型号,不然各种折腾。

评论

支持肯定没问题的,直接到自己购买机型的支持页面看就好啦:)

QQ截图20160130200812.jpg (65.2 KB, 下载次数: 0)

2016-1-30 20:08 上传

QQ截图20160130200756.jpg (56.43 KB, 下载次数: 0)

2016-1-30 20:09 上传





评论

现在处于SSD的过渡期,这些技术也都只是过渡而已。。

要等NVMe这个超级牛逼技术,稳定和成熟下来,才能好用。。

所以不知道你想干什么,硬件加速那个我可以回答你,貌似是VAAI的问题,你可以找找,这个需要VMware认证的,好像。。

评论

另外,你有多少台这样的服务器??

评论
买3块万兆网卡,用3台服务器玩VSAN

评论

楼主的问题,不知道怎么回答。但换个角度看问题。

H730阵列卡,插在pcie3.0 x8插槽,总带宽8GB/s,接8个硬盘,每个硬盘带宽1GB/s,超过sata3.0(6Gb/s)硬盘接口带宽。因此阵列卡不会成为瓶颈。

SSD接在阵列卡,trim没问题吧。


评论
H730支持Raid5和non-raid共存?做了1组Raid5,单盘就只能Raid0吧。
SSD最好绕走SATA,带宽不受影响。但这个笼子是2根SFF8643,走SATA就得拔掉4个盘。

评论

硬件加速存储要求

ESXi


块存储设备


NAS 设备


ESXi 版本 6.0

支持用于阵列集成的 T10 SCSI 标准或块存储插件 (VAAI)

支持用于阵列集成的 NAS 插件


[size=0.9em]

NFS 4.1 不支持硬件加速






评论

答非所问,不过还是谢谢帮顶了

评论

多谢答疑,除了IO带宽还基于两个担心
1.并发请求
2.阵列卡的缓存就1G,如果同时承担两个RAID+SSD缓存是否会降低命中率

阵列卡支持Trim的信息如下,希望是自动的:)

无标题.jpg (78.27 KB, 下载次数: 0)

2016-1-30 21:52 上传





评论

支持啊,我现在ESXI已经分配的储存我已经截图在上面了
一组RAID5 三盘
一组RAID1 双盘
一组non-raid 单盘SSD

不用拔啊,R730机箱里面有独立的SATA接口。只不过我现在6个盘含SSD都在笼子里面

无标题.jpg (158.28 KB, 下载次数: 0)

2016-1-30 22:01 上传


SATA口看得见么,在右上角,白色的,被线挡住一部分








评论
1.单盘做RAID0没有好处,有点多此一举。若果有多个SSD磁盘做阵列,可以用命令:esxcli storage nmp satp rule add -s VMW_SATP_LOCAL --device naa.xxxxxxxxxxxxxxxxx --option="enable_ssd"    (naa是磁盘的识别号)将其指定为SSD,这样就作为缓存使用了。     
2.集成的阵列如果负载大,可以使用板载的sata接口。性能匹配就可以。
3.缓存建议用write back,因为你的阵列是HDD。cachecade是热数据分层,与这个没什么关系,这个策略是数据回写阵列用的。
4.至于存储的硬件加速是指厂家支持VM一个API来减少对存储硬件的要求,好像叫VAAI。多见于FC存储,IPSAN我暂时没见过,好像10G的产品会有。

评论

现在在单台配着玩,摸熟了后面同样配置上多台就架vcenter了

评论

果然大神露面啊,感谢答疑

1.我并非要使用单盘RAID 0,而是单盘SSD接阵列卡就两种模式,RAID就是0,要么就是non-raid。
想了解的是这两种模式的不同

2.了解

3.HDD阵列建议打开write back,然后SSD缓存盘在阵列卡上设置为直写,对么?

4.另外一个大神兄也答复了这个VAAI的问题,我正在研究文档~

评论

关于硬件加速问题,我在安装过程中,凡是ESXI支持的FCSAN或者IPSAN,均能自动开启硬件加速,而本地存储均显示不支持或者未知。
关于阵列卡回写问题,一般认为有缓存和电池的,应该开启WRITE BACK,这样可以提高写入性能,数据丢失风险会比另外一种模式稍高。
至于你的SSD,性能除了由于各个接口的不同导致性能不同外,我觉得更多的还是依赖于缓存算法以及耗用系统整体的资源。另外如果你的负载没那么高,那么这几个接口的区别也没想象的那么大。
一切依赖于实际环境的测试。

2016-01-30 22-18-25.jpg (37.4 KB, 下载次数: 0)

2016-1-30 22:18 上传




评论

我的意思是主板上的SATA口没办法接到笼子背板上。
另外你那张图片中间靠上,H730电池和纽扣电池中间那个8643口,应该也是主板SATA吧

评论

感谢答疑,文档中提到的功能,看起来也是和SAN关系多一些,目前我还没必要上SAN,所以暂时不去纠结啦
再次感谢C2H6o兄~

硬件加速的优点
当支持硬件加速功能时,主机可以获得硬件支持,从而可以更快和更有效地执行多个任务。
主机可以通过以下活动获取帮助:

通过 Storage vMotion 迁移虚拟机

从模板部署虚拟机

克隆虚拟机或模板

虚拟机文件的 VMFS 群集锁定和元数据操作

置备厚虚拟磁盘

创建容错虚拟机

在 NFS 数据存储上创建和克隆厚磁盘

评论

我手上的ISCSI SAN就能支持。你可以测试一下外加个WSS2008的ISCSI能不能支持就知道了。
你这些问题更多的是ESXI的问题,应该去VMWARE相关论坛讨论更好点。


评论

懒点就在机箱里面空着的各种扩展板上固定个SSD

文艺点开启另外一组笼子

富贵点....就再入一张PCIE阵列卡+背板开启另一组笼子

你说的那两个电池中间是内部板载的SAS口:)



评论

问题比较基础,还有不少阵列卡的普通问题
感觉在chiphell就能搞定
结果果然如此:)

评论

A方案1.SSD接入阵列卡,选择non-raid模式,在ESXI中能直接识别为SSD,设置为缓存
2.SSD接入阵列卡,选择单盘raid0模式,在ESXI中不能直接识别,需要手动标识为SSD,随后设置为缓存
以上两种有啥区别?!

没啥差别,一样用的
方法一省事一点

B方案:
SSD不接阵列卡,接入主板上的SATA接口

基于现在整个ESXI的磁盘IO是从阵列卡PCIE接口走的考虑
作为缓存的SSD避开阵列卡从另外的SATA通道走是否在高并发磁盘请求时有帮助?

没啥帮助,盘太少,还没撑饱卡

衍生问题1:
H730 mini阵列卡自带电池和1G 缓存,是否可以在阵列上两个RAID缓存策略都用write back来代替writre through
那如果接上阵列卡上的SSD缓存盘,应该采用何种阵列卡的缓存策略呢?

这个没有标准答案,看你的需要 比如要测试系统性能,就要关闭写缓存。但你这卡的缓存太小,write back带来的好处有限


评论

如果不考虑热插拔,可以用PCIE的SSD,性能优势明显。

评论


如果是VAAI,确定的话,我觉得你不用折腾了,这个是代码级别的了,一般的存储,VMware也不会支持,要中端存储企业级的一般才可以。。大部分是商业阵列之类。。


另外,软件定义存储是趋势,但是这个我曾经问过VMware,我说vSAN应该是以后的主力啊,尤其是SSD普及以后。。
vForum2015的大会上,VMware负责存储的人说,暂时还不是这样,vSAN还是针对没钱的客户。。。说明目前道路还有点远。。

LSI被收购,也说明一定问题。。

不过对于EMC来说,其实它一直就是个软件公司。。。。


如果你只有1台机器,ESXi玩玩没意思的,玩出点意思,至少需要4台机器+一个存储,同时还有一个管理机在外面,另外还要有万兆的冗余网络。。。

所以自己玩,算了,自己搭个ESXi,在上面玩Windows的软件管理啊,域环境啊,这种学习一下还是不错的。。。玩Cloud,需要很多机器的。。


评论


我曾经做过vCloud的项目。。。

你要真想玩,不管是你自己,还是公司,我建议你用刀片服务器。。。方便可靠灵活,可玩的地方比较多。。

投资的话,硬件方面大概200万不到,应该可以玩的不错了。。


评论

你谈到的VAAI,其中Storage vMotion就有个很好的应用,支持VAAI的存储,貌似主机使用资源会少点。。不过我当时也没有注意。。

我当时用EMC和HP的存储,做过Storage vMotion,因为FC Switch是8Gb的,所以速度还挺快的,记得当时速度在350MB/s左右,在交换机上面抓到的,所以很快就完成了。。

评论

1.3.建议你使用NON-RAID的模式,这样直接让VM接管SSD,也不用担心阵列缓存策略。
   我做的SSD阵列,是直接写盘操作(阵列卡的缓存不用,应为SSD数据块有大有小,若果是小数据块那缓存作用大,大的话那个缓存反而是累赘)。阵列卡接触少了,基本都是存储柜,不过还是建议你问问客服,他们才是专业的。

评论

不会,这只是前期自己搭配着顺便做项目测试的

后面跑起实际业务后会上商业云,这样来说比较省心。
多谢分享经验
我手上SSD零零碎碎的,型号容量都不同
有条件了也上全闪阵列:)

评论

“支持”和“认证”是不同的,前者是能用,后者是绝对好用。

服务器玩esxi,仅仅支持是不够的,真想玩的爽,还是弄个认证的吧。

评论
1. 首先你选的 RAID 卡是 H730,这个破卡对SSD支持不是太好,H310的卡会支持SSD好一些,当然,如果是在Vmware的环境中,也可以通过使用命令强制标识你的SSD
2. 至于缓存的问题,如果是vSAN,配置起来就很简单,如果只单纯的相用SSD作为快速缓存的话,可以在配置里面添加SSD cache这个选项,然后需要虚拟机的版本升级到vm-10. 在 webclient里面来做相应的修改,将VM的 ssd cache激活,这个激活的过程只能在 webclient 里面完成,普通的客户端是无法看到这个选项的
3. 磁盘的加速功能,只有受认证的存储才能开,本地的磁盘开不了,有钱上EMC吧,这个入门级别的EMC还是相对很便宜的,现在最便宜的是 VNX5200
4. 之前有个哥们说过了,玩VMware最好是用刀片,这样省资源,架构可以做得很复杂,最好是直接上UCS,90W左右大约可以做8把配置了256G内存的刀片,两个5108的刀片笼子,两个笼子上分别配置2个8口的万兆上联口,可玩性很高

评论

企业级商用服务器,Dell不敢不认证就把定制的ESXI iSO档提供给客户的,出问题不被告死呢...

无标题.jpg (142.02 KB, 下载次数: 0)

2016-1-31 00:13 上传





http://www.vmware.com/resources/compatibility/search.php


评论

不用客气,希望能帮上忙。

PS:我是个菜鸟,不是什么大神。

评论
菜鸟在求救了。公司上新的ERP,让我买个新服务器。
京东搜了下,R730: E5-2620V4*2 / 64G / H730 / 750W*2
目前最纠结的是硬盘,原来公司的R820,用的是15K SAS硬盘,觉得还是不够满意,这次想上SSD。
和乙方交流下,一种是600G*4做RAID 5,或者单独用200G*2做RAID1作系统,数据另外用3块600G或者900G做raid5。
没捣鼓过这些,不知道这样行吗?SSD做阵列有啥问题没有?
完全新手不知道要注意什么

评论
从:(840EVO:啊~~我不要做这么随便的盘!)往后就看不懂了

评论
make.exe,藏龙卧虎 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号,不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚,因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗? 评论 认真看,认真瞧。果然有收
 ·日本留学生活 求个大阪合租
·日本留学生活 自家房招租求
·日本留学生活 东京地区出9成新lv钱包
·日本育儿教育 孩子从国内过来如何学习日语
·日本育儿教育 明年四月横滨招月嫂
·日本育儿教育 请问咋让娃突破识字关?感谢分享中文共读和学习经验的妈妈
 ·中文新闻 东区明星迈克尔·格列柯,53 岁,将在第一次出生两年后第二次
·中文新闻 《爱情岛》明星卡米拉·瑟洛和杰米·朱维特在透露即将迎来第三

维修经验

CPUcpu-z 1.77版低调发布

日本维修技术更新: New benchmark “submit and compare” feature New clocks dialog reporting all system’s clock speeds in real-time Preliminary support for Intel Kaby Lake AMD Bristol Ridge processors 主要是增加了支持I、A两个新架构的 ...

维修经验

CPU这几天经常开机黑屏,热重启后又正常

日本维修技术这几天经常开机黑屏,热重启后又正常,今天热重启也不管用了。折腾半天总算点亮,显示超频失败,以前出这个画面我是不理它的,直接重启就能正常进系统了,今天不敢托大,因为 ...

维修经验

CPU超频求助!关于华擎H170和6700K

日本维修技术问题见楼主的show贴 https://www.chiphell.com/thread-1634895-1-1.html 这次华擎的H170 Hyper最大的特色应该是自带时钟发生器可以自由超外频 可是楼主好久没有折腾超频了。。。 两图中除了CPU外频 以 ...

维修经验

CPU液态金属会侵蚀cpu核心吗?

日本维修技术前阵子看到有人说,液态金属时间长了会侵蚀cpu铜盖,那么问题来了,这货会不会侵蚀核心呢? 评论 这玩意儿好像只对铝起反应 评论 不是说,cpu的盖子是铜的吗。。。 评论 不会,核 ...

维修经验

CPUm6i究竟支不支持e3 1231v3

日本维修技术官网上看支持列表没写有e3 1231v3,装机帖又有人晒,百度也没个明确答案,那究竟能不能点亮?有在用的chher说一下么 评论 升级最新bios肯定可以支持 评论 我的p67evo官网上也没说支持12 ...

维修经验

CPU华擎 HYPER 妖板 正确玩法

日本维修技术600元的 B150,10相供电,释放洪荒之力 注意必须官网 Beta 区的 BIOS 有 AVX 的 CPU 可能会掉缓存 启动时按 X 键激活 SKY OC,重启后进入 BIOS 160924164727.jpg (95.63 KB, 下载次数: 1) 2016-9-24 17:47 上传 ...

维修经验

CPUE5 2686 V3和i7 6800K如何选择

日本维修技术默认用,不超频,两者功耗是一模一样的 E5 2686 V3:2.0主频,3.5睿频, 18核心36线程 ,45M L3 咸鱼大约2500~3000元 i7 6800K : 3.5主频,3.8睿频 ,6核心12线程 ,盒装3000元 评论 性能应该是26 ...

维修经验

CPUHD530硬解4K能力还是有点弱呀!

日本维修技术播放器用PotPlay 64bit,各种优化后,跑4K @120Hz视频只能到70帧左右的速度,勉强能用! 显示器用的4K的优派VP2780 未标题-1.jpg (211.97 KB, 下载次数: 0) 2016-9-26 21:29 上传 评论 这个估计你没优化 ...

维修经验

CPU6900k 1.25V到4.2体质怎么样

日本维修技术如图,体质怎么样,ring是35,没敢试了,都说ring高了毁硬件 评论 不错的U,但不算雕,上4.4就大雕了,这电压上4.5的目前没见有人发图 评论 谢谢前辈告知 评论 我这个用1.2V超的4.2,R ...

维修经验

CPUI3 6100 华擎B150M pro4超4.5g测试。

日本维修技术看看论坛没多少i3 6100的帖子,就转下自己发的show贴里面的数据,给大家参考下。家里还有当年的神U i3 540 oc 4.5G在给老妈用。 不知道数据上正常吗?有6100的朋友可以告诉下,另外是不有 ...

维修经验

CPU7系u会兼容100系主板吗?

日本维修技术RT,听说要推200系板,100系还能用吗以后。。 评论 兼容的 评论 感谢!以后换u就行了,目前消息200系板会有新的特性吗? 评论 24条PCI-E 3.0通道、支持Intel Optane混合存储技术、十个USB 3 ...

维修经验

CPU有心入5820k了,求教下温度问题

日本维修技术一直徘徊在6700k和5820k之间,6700k现在这德行直接把我推向了5820k啊,从2600k升级上来,三大件都要换,现在唯一疑惑的是IB-E ex这种顶级风冷能不能压住4.5g的5820呢?毕竟刚刚买一个多月。 ...

维修经验

CPU6600&6600K才100的差价

日本维修技术太少了吧。。。 6600.JPG (106.91 KB, 下载次数: 0) 2016-10-1 10:30 上传 评论 毕竟只是i5而已…… 评论 上z170 6600也能超,等于没区别,差价能有100已经不错了 评论 然后又见不超频人士推荐超频 ...