日本电子维修技术 HDD基本解决 硬盘主控, 文件系统感知, SMR管理相关




tl;dr: 因为PMR/LMR和CMR/SMR的关系没有搞清楚才导致原帖里一连串的问题

结论:

1) WD30NPZZ可以百分之百肯定是PMR盘, 但使用到了SMR的技术, 也就是通常意义上的"SMR盘"。
2) PMR和SMR并非对立的关系 (应该算是常识, 不过很少被提及了, 自己也忘了[捂脸])
3) CMR/SMR是磁头写策略上的区别, 只需要在固件上做修改即可在完全相同的盘体上分别做出CMR/SMR的产品。
4) (未确定的推理) WD30NPZZ在Windows下以Host Aware的方式作为SMR盘被管理, 表现为实时的TRIM, 以及TRIM之后带来的读空闲扇区时的超高速度。写不受影响, 依然表现为SMR的特征。
5) ReFS提供的是Host Managed级别的SMR支持, 不依赖HDD主控的TRIM功能。

参见dislike在#10中的回复


---------------以下是帖子原文-------------------

tl;dr: 想知道WD30NPZZ及同系列型号(WD30NMVW, WD30NMZW, WD30NPVX, WD30NPRZ, 及相应的4T版本)到底是SMR还是PMR?

update: 刚向店家要到了Datasheet, 点击这里下载

近日购得WD30NPZZ (3TB, 2.5mm, 5400rpm, 15mm厚, 据信是PMR空气盘)一枚, 到手先跑HD Tune测读写基准 (先读后写), 数据异常诡异, 读能稳定在190MB/s左右, 写倒是非常符合硬盘的规格, 波动也很有规律:

1.png (54.39 KB, 下载次数: 0)

2020-3-16 08:02 上传


2.png (55.83 KB, 下载次数: 0)

2020-3-16 08:02 上传



考虑到卖家明确说明这是返修盘, 有可能经历了低格, 所有扇区所有字节全部归零, 而主控可能对0有压缩, 折线就是压缩周期的体现。但这是HDD主控, 很难想象厂家会对HDD主控添加这些功能。

于是开分区迁移已实装硬盘上的数据, 全程写速度很符合硬盘的规格, 且波动不明显。最后400GB左右没有想好迁移什么, 于是打算 dd if=/dev/urandom 分两次200GB左右填满, 最后剩下的128MB左右看实际剩下多少字节可用再定count。但最后128MB这下出了意外, 文件名忘了改过来, 及时终止了。这时候硬盘上实际应该只有微软头部所留的16MB保留分区以及最后这128MB没有被写过, 又因为上一步操作, 实质上相当于删除了一个200GB的文件, 硬盘的可用空间在200GB左右。

这时候测得的读基准曲线是这样的:

3.png (59.84 KB, 下载次数: 0)

2020-3-16 08:02 上传



显然这最后200GB左右的空间读速和未分区的时候的读速具有相似的特征, 速度甚至更快, 高达280MB/s, 完全不符合HDD的性能特点。

这里产生了矛盾: 明明已经几乎用非零数据填满了全盘, 只有前后16MB+128MB理论上是没有写过的, 那最后200GB这个不合理的读速就不能解释 "主控对0有压缩" 这一假设。如果这一假设不成立, 那主控很有可能对最后的200GB的未使用空间有感知。已知和这一特性很接近的硬盘特性是TRIM, 被大量运用在SSD上。而CDI也检测到该主控的TRIM特性

4.png (96.03 KB, 下载次数: 0)

2020-3-16 08:02 上传



我想问的问题是:

1. 现在的HDD是否已经大量实装TRIM? 至少两年前购得的较新型号ST2000LM015还没有这个特性

5.png (115.75 KB, 下载次数: 0)

2020-3-16 08:02 上传



2. TRIM特性其实很适合SMR硬盘。如果2.5寸的HDD具有TRIM功能, 那有多大把握可以说这是一个SMR盘?

3. 根据对SMR进行数据管理的类型, SMR硬盘大致可以分为 1) Drive Managed, 2) Host Aware, 3) Host Aware 三种 [Ref#2]。后两者符合"操作系统对SMR有感知“, 也就是说主控和OS间很可能有某种协商(实时TRIM?), 而主控可据此对空闲扇区的读操作有优化, 体现在了读基准测试上, 进而导致上述诡异的测试结果。显然上面提到的ST2000LM015因为是早期消费级产品且其不具有TRIM特性, 可以确信是 1) Drive Manged 类型的SMR硬盘。那如果这块WD30NPZZ是SMR盘, 它应该属于哪种类型, 在Windows下是否有实用工具可以查明或者证否?

4. 根据现有的公开资料, 微软的文件系统里面ReFS支持3.中提到的 2) 3) 两种SMR管理类型 [Ref#1], 但我格式化采用的文件系统格式为NTFS (Windows 10, 1809)。那是否说明NTFS也对上述SMR管理类型加入了支持, 有没有可查的公开资料? 如果不是, 那是否可以说, 这种测试结果是由可能存在的 "主控对文件系统有感知" 这一特性导致的?

5. 对于这类主控很可能对文件系统有感知的硬盘, 尤其是HDD, 应用什么样的方式才能比较科学地测出其实际的性能指标? 比如读写基准曲线、随机响应时间等。

以上是我的问题, 希望能够得到CHH的存储达人们的解答, 谢谢!

PS:

1. 关于数据的分布, 可以经Defraggler等工具看到数据在逻辑上确实是顺序分布的, 所以比较确定未写的128MB是在分区最后。

6.png (324.1 KB, 下载次数: 0)

2020-3-16 08:02 上传



2. 这是非零填满后(包括16MB的MSR分区和最后的128MB)的读基准曲线, 脱机测试, 应该没有额外的访问。

7.png (384.67 KB, 下载次数: 0)

2020-3-16 08:02 上传



3. 这是一些关于WD30NPZZ这个系列型号找到的资料, 希望能对讨论有帮助:

0) 这是一个淘宝上的WD40NPZZ商品页, 里面罕见给出了内部的DATASHEET, 怀疑是下面将要提到的西数文档列表里面的PDF, 里面的页眉显示它属于MB800M系列, 且明确提到是PMR [图]:

https://item.taobao.com/item.htm?id=574122153756 (绝非广告用意, 希望大家理解)

1) 这是一份西数的文档列表, 里面有提到MB800M这个系列, 开发代号为SPYGLASS

http://129.253.55.137/tpt_dashboard_full.php (加载很慢, 进去后搜MB800M)
http://129.253.55.137/tpt_details.php?tpt=0984 (End of Life 通知)
http://129.253.55.137/tpt_details.php?tpt=0518 (TRM, Technical Reference Manual?)

2) 一篇18年的帖子, 里面提到同系列的WD40NPZZ是PMR, 没有给出来源:

https://www.tivocommunity.com/community/index.php?threads/psa-wd-blue-wd40npzz.557599/

3) 这里有一篇类似的讨论, WD30NPZZ和WD30NMZW (及相应的4TB型号)应该同样隶属于开发代号为SPYGLASS的硬盘系列:

https://community.wd.com/t/wd30nmzw-11gx6s1-wd-elements-3tb-hdd-tech-specs/233086

(ref: https://files.hddguru.com/download/PC-3000-UDMA%20Support/WDC%20Marvell%20family%20utility/Spyglass/)

同系列的一些型号: WD30NMVW, WD30NMZW, WD30NPVX, WD30NPRZ, WD30NPZZ (以及相应的4T型号), 搜索图片看外观可以推测其内部结构应该是完全一致的, 只是型号编号不同, 具体规格可能有差异, 但应该不至于是SMR和PMR这么大(还是说, 同样的盘体完全可以根据固件分别适配PMR/SMR?)。

4) 其中对应的一篇评测, 提到它是PMR:

https://www.nikktech.com/main/articles/peripherals/external-storage/portable-hard-drives/6129-wd-my-passport-ultra-3tb-usb-3-0-portable-hard-drive-review?showall=1

5) 这是WD30NPRZ的公开SPEC, 很少见, 但没有提及是PMR/SMR:

https://gzhls.at/blob/ldb/a/3/c/e/0875a977a5364738964a7ef8bdc4cb7b48ac.pdf

6) 这是一篇中文博客, 提到WD30NPRZ是PMR, 没有给出来源, 且缓存大小(64MB)与前述买家提供的文件(128MB)不一致:

https://www.itpwd.com/378.html

7) 这是CHH上关于这系列型号的一篇讨论贴, 大家对WD30NPRZ是SMR还是PMR没有定论:

https://www.chiphell.com/thread-2075490-1-1.html

8) 这篇回答里提到了和主楼完全一致的现象, 但没有给出它LMR/PMR, 或是CMR/SMR的判断依据: 为什么目前市面上的机械硬盘大都不标注是否使用SMR技术? - 知乎

https://www.zhihu.com/question/289798339/answer/490319677

9) CHH上另一篇讨论:

https://www.chiphell.com/thread-1838938-1-1.html

Ref:

1. Raj Das: ReFS Support for SMR Drives, SDC 2017, [email protected] CLARA: https://www.snia.org/sites/default/files/SDC/2017/presentations/smr/Das_Rajsekhar_ReFS_Support_For_Shingled_Magnetic_Recording_Drives.pdf

2. Methods of SMR Data Management - StorageReview.com: https://www.storagereview.com/news/methods-of-smr-data-management

评论
WD30NPZZ,WD40NPZZ都是SMR硬盘,WD30NPRZ才是传统的CMR硬盘。西数带有TRIM的硬盘基本都是SMR硬盘。

评论

我也是这么认为, 但你看上述的读曲线更符合PMR的特征, 最后的一段是降速的而不是平直的, 我的希捷SMR2T最后这段猜测因为缓存的原因速率是平直的。

如果你不介意的话可以冒昧问一下你判断的依据吗?

评论
读是平的,加上有trim,可以确定是smr叠瓦盘。。。只有叠瓦需要trim,这个看看叠瓦原理就知道了。。。早期部分没有trim的叠瓦,性能更差。

评论

但它在写满之后读是符合PMR特征的, 而且店家的Datasheet里也写明是PMR, 这让人很迷惑

评论
带trim的叠瓦,你拷东西进去,然后格式化,重启电脑,静置一段时间,恢复数据,你会发现什么都没有。。。跟固态一样。。。

评论

SMR和CMR都是属于PMR。SMR是PMR分类的一种,只有文档上有写明是CMR的才是传统垂直记录。

评论

但一方面在西数的文档上, 即使是企业级的HC520用到的提法也是PMR, 考虑到宣传上的一致性, 很难想象会混淆CMR/PMR这类字眼, 以及PMR和SMR的关系, 参考:

https://documents.westerndigital ... rastar-dc-hc520.pdf

评论

主楼更新了datasheet (Technical Reference Manual), PMR的字眼出现在1.1及3.5小节。有兴趣可以帮忙看一下吗?

评论
硬盘从业者,回答楼主几个问题。
1. 空盘状态下测HD Tune,读取曲线过于平滑,这是WD 的固件的一个策略,不是真实的,写入才是是真实的。
2. 和SMR对应的是CMR, 而不是PMR,PMR是垂直记录,是写磁头的一种技术,对硬盘厂家而言,现在所有的硬盘都是用的PMR,而SMR/CMR 是固件层面的技术,是在固件层面通过控制相邻磁道的overlap 来缩小磁道宽度,从而达到增加容量的目的。
3. 对于SMR盘而言,在碟盘上有一段保留空间(用户不可见,类似于SSD 的OP)叫media cache, 用来缓存用户的非连续写入的速度(简单的来说,实际情况会很复杂)。判断一个盘是否SMR可以通过两个数据来判断:a.)一般SMR的盘内存会较大(128M以上),所以小于128M的大概率不是SMR,是CMR。b.) 测试软件做单个sector的随机写入,看IOPS,CMR的盘,IOPS会很稳定,一直稳定在一个比较小的数,而SMR的盘的IOPS一开始会很高(顺序写入media cache),  然后会降低到非常小的数字,此时MC已经无可用空间,强制trim.

评论

感谢回答! 解决了我大部分的疑惑!

评论

由此顺便想请教 如果要测单个扇区性能的话 有什么现成的工具或workaround吗? 我想到的是 开一个长度只有单个扇区的分区, 在无文件系统的情况下用fio之类的去测。

评论
带Trim就一定是SMR

评论
我还感觉,SMR硬盘硬盘随着剩余空间的减少。写入速度越来越慢。

评论

机械盘,看到trim不用想,100%是叠瓦。。。

评论

虽说这样的经验结论基本也没错, 但想锤还是拿出证据比较好, 我内心已经接受这是块SMR的事实了

评论

trim和叠瓦原理倒推的,机械盘上有trim参数就是叠瓦的证据。

为什么叠瓦需要trim

叠瓦磁道太密,每次写入都会覆盖相邻磁道,就需要先读取相邻磁道,然后一次性写入进去。

当盘是新的时候,随便写入,不用担心覆盖相邻磁道,因为都没数据。这时候写入很快。
当盘到处都是数据比较"脏"的时候,写入-先读取-再写入,就会非常慢。

所以需要trim,跟固态一样,空闲状态,自动搬数据,把数据搬到一起,空余位置搬一起,合成连续区域。

有trim的时候,就没法直接读取磁盘表面数据了,数据恢复也就不存在了。一旦格式化,而且过了段时间,自动触发了trim,就会跟固态一样,数据gg。

评论

所以结论是"TRIM是叠瓦的充分非必要条件"对吗? TRIM =>叠瓦, 叠瓦 =/=> TRIM。

无意冒犯, 但我看下来你只试图证明了叠瓦=>TRIM, 但也有旧式的叠瓦盘没有TRIM功能, 主楼里的ST2000LM015即是一例。

进一步说, 这个推理的过程不能证明也不能证否 "TRIM=>叠瓦", 那么 是否有带TRIM功能的非叠瓦盘?

虽然推理的结果对最终结论也没有影响, WD30NPZZ无疑是叠瓦盘, 但相信这类探讨是非常有益的



评论

叠瓦需要trim优化性能
早期没trim的叠瓦性能更差。

非叠瓦优化性能的工具就是碎片整理。。

评论

讲解的清晰,明确

继续学习

评论
最近也在考虑要不要买硬盘  想加个希捷监控盘  4T。平时用来放游戏和各种资料。。  我现在是希捷2T(12年买的) 希捷1T   希捷1T 我怕它们突然坏了     

评论
不需要写这么多,便宜的就是速度慢可靠性差的,不管技术上或术语上叫什么;相反,贵的就是速度快一点,可靠性高一点。

类似当年的VA,IPS面板问题,贵的色彩就是好。

评论

京东的宣传图是cmr啊

评论

西数官网的页面上以及部分(比较新的hc310/320/330/530)datasheet基本上都改成cmr了

TIM截图20200328172314.jpg (135.38 KB, 下载次数: 0)

2020-3-28 17:23 上传



TIM截图20200328172327.jpg (134.52 KB, 下载次数: 0)

2020-3-28 17:23 上传




评论
现在hdd都用来做仓库,根本不考虑性能了 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号,不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01 电路 电子 维修 我现在把定影部分拆出来了。想换下滚,因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗? 评论 认真看,认真瞧。果然有收
 ·日本留学生活 求个大阪合租
·日本留学生活 自家房招租求
·日本留学生活 东京地区出9成新lv钱包
·日本育儿教育 孩子从国内过来如何学习日语
·日本育儿教育 明年四月横滨招月嫂
·日本育儿教育 请问咋让娃突破识字关?感谢分享中文共读和学习经验的妈妈
 ·中文新闻 东区明星迈克尔·格列柯,53 岁,将在第一次出生两年后第二次
·中文新闻 《爱情岛》明星卡米拉·瑟洛和杰米·朱维特在透露即将迎来第三

维修经验

CPUcpu-z 1.77版低调发布

日本维修技术更新: New benchmark “submit and compare” feature New clocks dialog reporting all system’s clock speeds in real-time Preliminary support for Intel Kaby Lake AMD Bristol Ridge processors 主要是增加了支持I、A两个新架构的 ...

维修经验

CPU这几天经常开机黑屏,热重启后又正常

日本维修技术这几天经常开机黑屏,热重启后又正常,今天热重启也不管用了。折腾半天总算点亮,显示超频失败,以前出这个画面我是不理它的,直接重启就能正常进系统了,今天不敢托大,因为 ...

维修经验

CPU超频求助!关于华擎H170和6700K

日本维修技术问题见楼主的show贴 https://www.chiphell.com/thread-1634895-1-1.html 这次华擎的H170 Hyper最大的特色应该是自带时钟发生器可以自由超外频 可是楼主好久没有折腾超频了。。。 两图中除了CPU外频 以 ...

维修经验

CPU液态金属会侵蚀cpu核心吗?

日本维修技术前阵子看到有人说,液态金属时间长了会侵蚀cpu铜盖,那么问题来了,这货会不会侵蚀核心呢? 评论 这玩意儿好像只对铝起反应 评论 不是说,cpu的盖子是铜的吗。。。 评论 不会,核 ...

维修经验

CPUm6i究竟支不支持e3 1231v3

日本维修技术官网上看支持列表没写有e3 1231v3,装机帖又有人晒,百度也没个明确答案,那究竟能不能点亮?有在用的chher说一下么 评论 升级最新bios肯定可以支持 评论 我的p67evo官网上也没说支持12 ...

维修经验

CPU华擎 HYPER 妖板 正确玩法

日本维修技术600元的 B150,10相供电,释放洪荒之力 注意必须官网 Beta 区的 BIOS 有 AVX 的 CPU 可能会掉缓存 启动时按 X 键激活 SKY OC,重启后进入 BIOS 160924164727.jpg (95.63 KB, 下载次数: 1) 2016-9-24 17:47 上传 ...

维修经验

CPUE5 2686 V3和i7 6800K如何选择

日本维修技术默认用,不超频,两者功耗是一模一样的 E5 2686 V3:2.0主频,3.5睿频, 18核心36线程 ,45M L3 咸鱼大约2500~3000元 i7 6800K : 3.5主频,3.8睿频 ,6核心12线程 ,盒装3000元 评论 性能应该是26 ...

维修经验

CPUHD530硬解4K能力还是有点弱呀!

日本维修技术播放器用PotPlay 64bit,各种优化后,跑4K @120Hz视频只能到70帧左右的速度,勉强能用! 显示器用的4K的优派VP2780 未标题-1.jpg (211.97 KB, 下载次数: 0) 2016-9-26 21:29 上传 评论 这个估计你没优化 ...

维修经验

CPU6900k 1.25V到4.2体质怎么样

日本维修技术如图,体质怎么样,ring是35,没敢试了,都说ring高了毁硬件 评论 不错的U,但不算雕,上4.4就大雕了,这电压上4.5的目前没见有人发图 评论 谢谢前辈告知 评论 我这个用1.2V超的4.2,R ...

维修经验

CPUI3 6100 华擎B150M pro4超4.5g测试。

日本维修技术看看论坛没多少i3 6100的帖子,就转下自己发的show贴里面的数据,给大家参考下。家里还有当年的神U i3 540 oc 4.5G在给老妈用。 不知道数据上正常吗?有6100的朋友可以告诉下,另外是不有 ...

维修经验

CPU7系u会兼容100系主板吗?

日本维修技术RT,听说要推200系板,100系还能用吗以后。。 评论 兼容的 评论 感谢!以后换u就行了,目前消息200系板会有新的特性吗? 评论 24条PCI-E 3.0通道、支持Intel Optane混合存储技术、十个USB 3 ...

维修经验

CPU有心入5820k了,求教下温度问题

日本维修技术一直徘徊在6700k和5820k之间,6700k现在这德行直接把我推向了5820k啊,从2600k升级上来,三大件都要换,现在唯一疑惑的是IB-E ex这种顶级风冷能不能压住4.5g的5820呢?毕竟刚刚买一个多月。 ...

维修经验

CPU6600&6600K才100的差价

日本维修技术太少了吧。。。 6600.JPG (106.91 KB, 下载次数: 0) 2016-10-1 10:30 上传 评论 毕竟只是i5而已…… 评论 上z170 6600也能超,等于没区别,差价能有100已经不错了 评论 然后又见不超频人士推荐超频 ...