我听说贵发行版默认文件系统就是Btrfs想了解一下Btrfs现在到底是个啥进度了

11123 · 2017年04月26日 14:56

听新闻讲去年 RAID5/6 部分呐爆出了重大 BUG
听说在重构代码
现在怎么样了？
能不能姑且拿来用？
贵发行版用来搭建服务器适合吗？

顺便问一下

虚拟机创建了三个虚拟硬盘

    Total devices 3 FS bytes used 2.15TiB
    devid    1 size 2.73TiB used 2.16TiB path /dev/sda
    devid    2 size 2.73TiB used 2.16TiB path /dev/sdb
    devid    3 size 2.73TiB used 0.00B path /dev/sdc

卸掉了一个虚拟硬盘模拟硬盘 GG 现场

    Total devices 3 FS bytes used 2.15TiB
    devid    1 size 2.73TiB used 2.16TiB path /dev/sda
    devid    2 size 2.73TiB used 2.16TiB path /dev/sdb
    *** Some devices missing

是这么重建 RAID 吧

btrfs replace start /dev/sdc /dev/sdd /mnt/foo

netcap · 2017年04月27日 03:22

不看不知道，一查吓一跳…
4 月中才由富士通中国和 SUSE 的员工共同合作完成一个补丁, 可能还要需点时间进新内核吧 …

群晖那种家用 NAS 在用这个, 估计是快照好用…

其实，企业级为了性能多在用 ext 系，可靠性完全交给阵列系统…

SUSE 算是顶级的服务器系统了。500 强的超算里面占了好多，13 年占到前 100 的 1/3, 就是现在去查 2016.11 的数据，一眼能看出来的前 10 里面至少占了 4 席 …

11123 · 2017年04月27日 05:05

主要是看着网上的人都在骂 Btrfs 慌得很……
记得是 12 年还是 11 年就想用 Btrfs 来着
结果各种说:“别用死垃圾的……”
昨晚上尝试创建 RAID5 然后模拟掉盘
但是一直没法重建
资料也是很少
就很着急

netcap · 2017年04月28日 03:13

没错啊，官方都让你不要考虑 RAID56 用于生产环境，我去看了下群晖，人家就用的也是 mdadm ，大企业靠的是硬件阵列卡，根本不会用目前还不成熟的原生 RAID56 , 这部分代码的重构预期目标是 4.12，生产环境大概还需要 3 年左右的时间吧

维格纳的朋友 · 2017年04月28日 10:13

哇 4.11 都没有这补丁的啊……
然后至于我为什么这么勇
是因为我信了这个的邪
zhihu.com/question/19613331
我也目击过阵列卡爆炸
bilibili.com/video/av3576332/

netcap · 2017年04月28日 14:18

首先，我前面不是说了，本月中（15-18 号的样子，没有特意去留意时间）才出的修复补丁，这个只是临时解决问题的，不是重构方案（重构的预期目标是 4.12, 注意是预期目标），这只是方便已经中招的人作的修补，这个应该很快，如果对于 SLE 那种企业用户的话，基本上也就一个月就会出…

至于你说的软硬问题，我不知道你有没有过硬阵列经验，3、5000 一块的阵列卡带有很多优势,：先不说灵活性，软硬方案现在都可以在线扩容这不是问题，性能方面可以用 ssd 加速 HDD 也不用说。就单说硬件阵列在重建时间上的优势，举个例子，一般你同时买了一批 2t 硬盘，比如 4 个做的 r5, 坏掉一块，在 rx3 的状态下降级运行，然后你买了一块新盘加上，重建数据的时候，4 块盘都在大量进行读写，你如何保证这个过程中原来的 3 块盘不会在过程中坏掉？（一般你第一批同时买的盘估计寿命都差不多，这时候坏的几率是非常高），所以，这里带处理器和缓存的硬卡能极大节约你的时间，越快重建完越好。这就是硬件的价值。

第二，卡还可以添加热备盘，上面那种情况就是坏了盘你有热备盘就完全没问题。

阵列卡爆炸了又能说明什么问题呢？阵列卡的好处是，你只需要换一块同公司的卡，还不用同型号（当然，原则上你不应当买比你原来的还旧型号），插上机，它会自动读取配置，然后系统没问题就启动了。这迁移过程是无损的。文件系统级的阵列你敢跨大版本系统升级？我甚至试过用 Adaptec 的卡读出了 LSI 创建的阵列你敢信？

维格纳的朋友 · 2017年04月28日 15:12

netcap:

首先，我前面不是说了，本月中（15-18 号的样子，没有特意去留意时间）才出的修复补丁，这个只是临时解决问题的，不是重构方案（重构的预期目标是 4.12, 注意是预期目标），这只是方便已经中招的人作的修补，这个应该很快，如果对于 SLE 那种企业用户的话，基本上也就一个月就会出… 至于你说的软硬问题，我不知道你有没有过硬阵列经验，3、5000 一块的阵列卡带有很多优势,：先不说灵活性，软硬方案现在都可以在线扩容这不是问题，性能方面可以用 ssd 加速 HDD 也不用说。就单说硬件阵列在重建时间上的优势，举个例子，一般你同时买了一批 2t 硬盘，比如 4 个做的 r5, 坏掉一块，在 rx3 的状态下降级运行，然后你买了一块新盘加上，重建数据的时候，4 块盘都在大量进行读写，你如何保证这个过程中原来的 3 块盘不会在过程中坏掉？（一般你第一批同时买的盘估计寿命都差不多，这时候坏的几率是非常高），所以，这里带处理器和缓存的硬卡能极大节约你的时间，越快重建完越好。这就是硬件的价值。第二，卡还可以添加热备盘，上面那种情况就是坏了盘你有热备盘就完全没问题。阵列卡爆炸了又能说明什么问题呢？阵列卡的好处是，你只需要换一块同公司的卡，还不用同型号（当然，原则上你不应当买比你原来的还旧型号），插上机，它会自动读取配置，然后系统没问题就启动了。这迁移过程是无损的。文件系统级的阵列你敢跨大版本系统升级？我甚至试过用 Adaptec 的卡读出了 LSI 创建的阵列你敢信？

所以说阵列卡重建确实更快一点？
但是阵列卡的话应该是数据走 soc 然后 pci-e 到 cpu，软 RAID 的话南桥 -cpu 所以说是阵列卡快一点？
缓存倒不是问题我不认为阵列卡的缓存会比 NVME 固态更好至少 NVME 固态会更大些
阵列卡的 soc 性能比至强好？反正我是不信的
问题只是在于给服务器加个 UPS 一定比阵列卡更贵就是了

netcap · 2017年04月29日 00:52

快得多，大致原来 1/3 的时间， 12 x 希捷 6g sas ssd R6，LSI 9265, 离线 2 盘的情况下重建，希捷 15K SAS HDD 差异会更大些，我手上还有 50 块的样子，但那个阵列一开简直是鬼在叫唤…

当然这时间并不是掐秒表记。卡比那个爆炸视频的还要高一点（他卡是 9261, 虽然盒子上写的 9260，不会是从中国深圳买的吧…）
缓存主要影响的是运行性能，NMVE 总线是块，容量和总带宽是问题，企业级的 PCIE 交换机才正式发表（了个新闻，LSI 方案，现在其实应该叫新博通），还没部署, SSD 阵列一般也是不需要开启板载缓存，因为增加延迟
影响重建性能的主要靠 ROC ，阵列卡的校验性能当然比至强好得多，并不单纯论计算性能，而是专业化的问题，论硬件参数至强当然高，但问题是人家是搞通用计算的，不是专门让你去做 XOR, 而 SOC 就是为 XOR 而生，编码、擦除，异常一开始就是为阵列设计, 至强根本没得比，除非 Intel 专门为 x86 做调试，Intel 现在没啥兴趣做这个。

我上面那台机器就是用的就是 x5680 ,7 年前顶配了，同期的入门级卡也是软方案，读写性能基本一致，重建性能赶不上软卡, 但落后的并不算多。但硬件卡都写系能就远远超过了。所以有些东西，不能光去猜测，实际上自己试一试基本就得出结论了… 更早期有个测试，i7 920 那种 U, 别说阵列，跑 HBA 的 IOPS 都跑出 1/4 负载来, 阵列我简直不敢想，还让不让人跑应用了… 那时候， Intel 刚开始放弃自有的 SOC 处理器方案, 想自己设计全 x86 RAID 集成方案的，但是第一代 C600 芯片组的规格你也看到了…

直到现在，你去看看 Intel RAID 官方主页，满屏的 LSI 贴牌，这就很能说明问题了，世面没厂商鸟 Intel 的 I/OAT 方案（I/OAT 集合内部传输，网卡、HBA、阵列全部交给至强，就光凭这点，你觉得至强最终处理性能有可能比 ROC 高？就算至强不跑操作系统都够它受了，你还指望高负荷应用？），高端先不说，入门级 Intel 推荐的都是 iMR (这个倒不是性能的原因，而是 intel 没有关于可靠性软件栈的方案，这就是专业厂商和业余玩家的区别，高你没人家性能，低你还没有人家可靠性支持这怎么玩？), 再往下纯 HBA 控制器找 LSI 贴牌…

加 UPS 是想说明什么，到了现代，UPS 作用更多用来保证硬件设备不坏和保持业务连续，并且这个还要配合稳压器，一般真重视实时在线业务的企业在遇到环境断电的时候是不会去拿接下来的时间赌运气的，早就启用异地镜像了… 不重视实时在线业务的，干脆停机… 当然也有那种挂着就挂着，停了就停了心态的人… 而断电数据保护的职责早在几年前就已经移交给阵列卡了，上面有块电容 (以前是电池方案，但电池只存 24 小时，现在是永久)，断电瞬间的电位差可以把当前缓存里的数据瞬间写到阵列卡的 NAND 上，数据不会丢失

另外说一下爆炸那个，我的 SSD 家用阵列已经开机了 5 年了，算是 24 小时不间断吧，因为半夜也有朋友在连，除了维护没停过机… 有热备有电容保护，不需要 UPS … 担心突然停电的还不如担心所有硬盘同时上电时瞬间电压峰值对电源造成的影响，就为了给硬盘延迟上电这种功能也值得上卡…

维格纳的朋友 · 2017年04月29日 04:03

netcap:

快得多，大致原来 1/3 的时间， 12 x 希捷 6g sas ssd R6，LSI 9265, 离线 2 盘的情况下重建，希捷 15K SAS HDD 差异会更大些，我手上还有 50 块的样子，但那个阵列一开简直是鬼在叫唤… 当然这时间并不是掐秒表记。卡比那个爆炸视频的还低一等级… 缓存主要影响的是运行性能，NMVE 总线是块，容量和总带宽是问题，企业级的 PCIE 交换机才正式发表（了个新闻，LSI 方案，现在其实应该叫新博通），还没部署, SSD 阵列一般也是不需要开启板载缓存，因为增加延迟影响重建性能的主要靠 ROC ，阵列卡的校验性能当然比至强好得多，并不单纯论计算性能，而是专业化的问题，论硬件参数至强当然高，但问题是人家是搞通用计算的，不是专门让你去做 XOR, 而 SOC 就是为 XOR 而生，编码、擦除，异常一开始就是为阵列设计, 至强根本没得比，除非 Intel 专门为 x86 做调试，Intel 现在没啥兴趣做这个。我上面那台机器就是用的就是 x5680 ,7 年前顶配了，同期的入门级卡也是软方案，读写性能基本一致，重建性能赶不上软卡, 但落后的并不算多。但硬件卡都写系能就远远超过了。所以有些东西，不能光去猜测，实际上自己试一试基本就得出结论了… 更早期有个测试，i7 920 那种 U, 别说阵列，跑 HBA 的 IOPS 都跑出 1/4 负载来, 阵列我简直不敢想，还让不让人跑应用了… 那时候， Intel 刚开始放弃自有的 SOC 处理器方案, 想自己设计全 x86 RAID 集成方案的，但是第一代 C600 芯片组的规格你也看到了… 直到现在，你去看看 Intel RAID 官方主页，满屏的 LSI 贴牌，这就很能说明问题了，世面没厂商鸟 Intel 的 I/OAT 方案（I/OAT 集合内部传输，网卡、HBA、阵列全部交给至强，就光凭这点，你觉得至强最终处理性能有可能比 ROC 高？就算至强不跑操作系统都够它受了，你还指望高负荷应用？），高端先不说，入门级 Intel 推荐的都是 iMR (这个倒不是性能的原因，而是 intel 没有关于可靠性软件栈的方案，所以，这就是专业厂商和业余玩家的区别…), 再往下纯 HBA 控制器找 LSI 贴牌… 加 UPS 是想说明什么，到了现代，UPS 作用更多用来保证硬件设备不坏和保持业务连续，并且这个还要配合稳压器，一般真重视实时在线业务的企业在遇到环境断电的时候是不会去拿接下来的时间赌运气的，早就启用异地镜像了… 不重视实时在线业务的，干脆停机… 当然也有那种挂着就挂着，停了就停了心态的人… 而断电数据保护的职责早在几年前就已经移交给阵列卡了，上面有块电容 (以前是电池方案，但电池只存 24 小时，现在是永久)，断电瞬间的电位差可以把当前缓存里的数据瞬间写到阵列卡的 NAND 上，数据不会丢失另外说一下爆炸那个，我的 SSD 家用阵列已经开机了 5 年了，算是 24 小时不间断吧，因为半夜也有朋友在连，除了维护没停过机… 有热备有电容保护，不需要 UPS … 担心突然停电的还不如担心所有硬盘同时上电时瞬间电压峰值对电源造成的影响，就为了给硬盘延迟上电这种功能也值得上卡…

阵列卡的 soc 性能能确定真是太好了果然是有奇怪的指令集啊

netcap · 2017年04月29日 04:17

我想说，就算忽略掉指令集差异，比通用计算能力 intel 也不一定能赢过那些不务正业的奇葩厂商…

05 年，intel 最后也是最强的单芯 U ，奔腾 4 至尊版 3.2 G, mips 为 97xx , 同年，创新 x-fi mips 10340… 你要知道那只是块声卡…

维格纳的朋友 · 2017年04月29日 04:52

同样工艺 1.78 亿个晶体管打 5110 万晶体管打不过……
不是牙膏厂过于死妈就是创新在吹比
难道有人能拿创新的那块东西跑分吗？

netcap · 2017年04月29日 05:26

有一片文章叫声卡歪传，建议你去看看，Wintel 联盟为首制定的 ac97 规范导致的历史遗留问题，所以才需要很高的运算能力且只为了解决一个问题 SRC，因为创新没有能力制定标准和推广（实际上后来废掉创新也的是微软…），所以才走了这么一条“将脂肪变成智慧”的路，因为这是他擅长的，并不是为了比运算而运算，歪打正着而已…

维格纳的朋友 · 2017年04月29日 05:31

所以说实际上 XFI 的计算力是多少呢？

netcap · 2017年04月29日 05:34

这东西并没有质疑的必要啊，10340 ,7000 解决 SRC , 就是直到现在也算是 HiFi 里指标比较高的了，当然，现在不是很必要就是了…

维格纳的朋友 · 2017年04月29日 05:38

玄学很烧钱吧

netcap · 2017年04月29日 05:43

哈哈，1080 Ti 连一根数据线都换不过来… 还要小贴点钱…

维格纳的朋友 · 2017年04月29日 06:15

[quote=“netcap”]

哈哈，1080 Ti 连一根数据线都换不过来… 还要小贴点钱…[/quote]

说起来LinusTechTips他们团队是有热备份的但是只备份了百分之十六然后阵列卡就爆炸了当时换上备用的阵列卡就是报错反正是数据恢复了
后面几期节目不晓得在搞另一套保全方案有没有卵用就不知道了

通过我的 XT1085 上的 Tapatalk发言

netcap · 2017年04月29日 06:40

那个我看了好几遍，挺有意思的呢，关键是那位反应太好了，又幽默。我要是业务服务器崩了怕是没有那么好的心态开玩笑…

他们在建异地灾备的，还没建好…

这是 16 年 1 月上传的，实际时间不知道是多久，卡差不多都是 12 年的老型号了，实际上，15 年左右有新技术出来了，非对称的 RAID 1 , 就是混合 RAID 1, 他这种可以把 SSD 镜像到 HDD 上，并且保证只从 SSD 读数据… 这个在国外论坛上有人用它来做民用 SSD trim…

LSI 的卡有个特性，它在检测到硬盘传输不稳定，比如读取延迟 / 失败，电源传输失败会在板载缓存里做个记录，超过一定阈值会认为这块硬盘不稳定，从而把这块硬盘踢出阵列，然后这盘就认不到了，实际上并不一定是硬盘和卡的问题，不如电源头松了的情况，这时候换卡口或者清卡缓存都可以；

转到视频这个故障上来，他们这个只是单纯的掉盘，用的是 sata, 没有掉盘保护机制，所以说 sas 贵是有道理的啊… 他们其实说到在之前就有卡顿的现象了，这个时候管理员是理应去查看日志的…

SSD 阵列一定要有热备盘，他们只有个数据备份，有热备盘直接换上去就可以了连重建都不需要…

他们选择的 “性价比”方案，其实正常的方案是一块卡 + 扩展器或 HBA (取决于带宽)，大概他们想要充分利用 PCIE 带宽就用了 3 块做扩展，增加稳定性风险，实际上，可以买一块 24 口卡就好…

维格纳的朋友 · 2017年04月29日 07:37

[quote=“netcap”]

那个我看了好几遍，挺有意思的呢，关键是那位反应太好了，又幽默。我要是业务服务器崩了怕是没有那么好的心态开玩笑…

他们在建异地灾备的，还没建好…

这是 16 年 1 月上传的，实际时间不知道是多久，卡差不多都是 12 年的老型号了，实际上，15 年左右有新技术出来了，非对称的 RAID 1 , 就是混合 RAID 1, 他这种可以把 SSD 镜像到 HDD 上，并且保证只从 SSD 读数据… 这个在国外论坛上有人用它来做民用 SSD trim…

LSI 的卡有个特性，它在检测到硬盘传输不稳定，比如读取延迟 / 失败，电源传输失败会在板载缓存里做个记录，超过一定阈值会认为这块硬盘不稳定，从而把这块硬盘踢出阵列，然后这盘就认不到了，实际上并不一定是硬盘和卡的问题，不如电源头松了的情况，这时候换卡口或者清卡缓存都可以；

转到视频这个故障上来，他们这个只是单纯的掉盘，用的是 sata, 没有掉盘保护机制，所以说 sas 贵是有道理的啊… 他们其实说到在之前就有卡顿的现象了，这个时候管理员是理应去查看日志的…

SSD 阵列一定要有热备盘，他们只有个数据备份，有热备盘直接换上去就可以了连重建都不需要…

他们选择的 “性价比”方案，其实正常的方案是一块卡 + 扩展器或 HBA (取决于带宽)，大概他们想要充分利用 PCIE 带宽就用了 3 块做扩展，增加稳定性风险，实际上，可以买一块 24 口卡就好…[/quote]

他说他那个视频投入大概1000美刀
youtuber果然很给力啊
小透明就…
评论区的运维想起了被半夜叫醒支配的恐惧

通过我的 XT1085 上的 Tapatalk发言