目前使用的4块矿渣4T的sas盘，用TrueNAS（一个12c48G的虚拟机）做了raid10
2块7600P 1T做成了L2arc，一个P3500做了ZIL。
通过NFS方案，共享给Proxmox VE主机，相当于为一个私有云提供了后端存储
目前虚拟机内的读写速度实在是太拉跨了，只能到能用的程度。
4K写入就只有1.5M/s左右
感觉ZFS是负优化，我尝试过4块1T的7600P，做raid10，4K性能也非常低。
ARC配置了42G内存。设置了vfs.zfs.l2arc_write_max和boost，速度还是不理想
大佬们，是不是没有优化好，还是我要求高了。。。。。。
评论
QQ截图20210815161123.png (101.82 KB, 下载次数: 0)
QQ截图20210815153933.png (131.55 KB, 下载次数: 0)
评论
关掉raid提升性能..不开玩笑的说，毕竟你直接用ssd 4k性能也还是不行。对于家用来说raid我实在看不到什么价值。想图方便就做个pool直接用，怕盘坏就分开挂载
cache这东西讲求的就是一个命中率，命中了就是缓存速度没命中就是存储的原生速度（看你这测试4k速度就是机械硬盘应有的速度）。缓存也不是万能解药
最后..如果对于性能有要求的话我是不会考虑矿渣也不会考虑用虚拟机的。虚拟机对于io的影响你可以自行查询一下，本坛应该有挺多的
评论
没记错的话
freenas官方白皮书，如果内存不超过64G，不建议做写缓存
然后就是，尽量都直通
让内存直接作为缓存读写
虚拟机内还这样做，好像是不咋地
评论
虚拟内应该没问题。
NVME是直通的，硬盘是接到SAS控制器，SAS控制器也是直通。Nutanix的CVM就是这么做的。我试试把内存调成64G以上再试试。
评论
确实坑，安全性和速度不能两全。对比企业的存储，机械加ssd缓存，有很不错的IOPS，可能是我机械矿渣问题，单盘性能不足，导致整体性能不足。
主要是全闪的zfs性能不足，我是完全没想到。。
评论
vfs.zfs.l2arc_norw: 0
vfs.zfs.l2arc_feed_again: 1复制代码
这俩参数试试？
然后不知道你 dataset 的 sync 和 record size 是多少？
zfs 的核心卖点并不是性能，极度成熟的 snapshot 机制才是真的大杀器
至于 zil，首先要明确一下，zil 不是写缓存，只是用一个单独的设备在同步写的情况下拿来存写入日志，防止宕机造成的数据丢失
建议先用内存映射出一个 memory disk 当 zil 试试，看看极限的性能是怎样，如果好很多那建议把 3500 换成 optane（800p，900p，905p 等
理论上来说 sync 写的情况下增加内存不会提高写性能
# create 6GB memory drive, at /dev/md1
mdconfig -a -t swap -s 6g -u 1
# add the ramdisk md1 as slog to pool tank
zpool add tank log md1
# remove ram slog from pool
zpool remove tank md1
# destroy ram disk md1
mdconfig -d -u 1复制代码
参考：https://www.truenas.com/communit ... g-a-ram-disk.56561/
评论
你确定不是TRUENAS拉夸？我用实体机测试truenas scale,12盘M2 SSD,做Z1性能还不如黑裙虚拟机直通，
评论
感谢！我稍后去试一试
评论
TrueNAS确实拉跨
评论
感谢大佬，目前关闭SYNC，关闭压缩，将record设置成64K，添加你给的2个参数，4K性能得到了明显的提升。听你的意见，将内存作为ZIL，性能没有得到提升。
这个是没有添加log和L2arc的测试。
QQ截图20210815200442.png (116.21 KB, 下载次数: 0)
感觉很幸福。这数据很香。
但是看到其他帖子里用傲腾的zfs,50w iops这太恐怖了。
评论
折腾4k性能用btrfs
评论
最后是没加缓存了？
写LOG是内存盘吗
评论
zfs没有写缓存的概念，机械盘的4k就这点，不存在优化空间，改任何参数都无用。
内存用来当读缓存的，加大内存无非提高命中率，ecc无非保证读取不出错。
评论
单独的盘，什么都没有加。
评论
现在d3 的reg，ecc内存8G。咸鱼均价65。算上650元有80G。感觉比用傲腾划算多了。
评论
加强4K性能是为了让虚拟机变得流畅点。并不是追求很高
评论
嗯
记得是说，什么都不加，会给盘用内存单独写一个SLOG
评论
普通人不要碰任何raid，就单块硬盘一个分区，重要数据做好备份就行了
评论
4k ipos 有 500 多，差么？ 不差吧
评论
看来，只需要无脑加内存就行了
评论
是
zfs就是发疯的加，你敢死，他就敢埋
而且缓存机制是为了多用户多并发准备的 电路 电子 维修 我现在把定影部分拆出来了。想换下滚，因为卡纸。但是我发现灯管挡住了。拆不了。不会拆。论坛里的高手拆解过吗？ 评论 认真看，认真瞧。果然有收 电路 电子 维修 求创维42c08RD电路图 评论 电视的图纸很少见 评论 电视的图纸很少见 评论 创维的图纸你要说 版号，不然无能为力 评论 板号5800-p42ALM-0050 168P-P42CLM-01
·日本留学生活 求个大阪合租
·日本留学生活 自家房招租求
·日本留学生活 东京地区出9成新lv钱包
·日本育儿教育 孩子从国内过来如何学习日语
·日本育儿教育 明年四月横滨招月嫂
·日本育儿教育 请问咋让娃突破识字关？感谢分享中文共读和学习经验的妈妈
·中文新闻 东区明星迈克尔·格列柯，53 岁，将在第一次出生两年后第二次
·中文新闻 《爱情岛》明星卡米拉·瑟洛和杰米·朱维特在透露即将迎来第三