哪个文件系统适用于大型LVM磁盘(8 TB)?

Modified on: Mon, 27 May 2019 13:20:02 +0800

我有一台带有许多2 TB磁盘的Linux服务器,所有这些磁盘目前都在LVM中,导致大约10 TB的空间。我在ext4分区上使用了所有这些空间,目前有大约8,8 TB的数据。

问题是,我经常在我的磁盘上出现错误,即使我更换了(也就是说,我将旧磁盘复制到带有dd的新磁盘,然后我将新磁盘复制到服务器中)出现错误,我经常得到大约100 MB的损坏数据。
这使得e2fsck每次都变得疯狂,并且通常需要一周时间才能使ext4文件系统再次处于理智状态。

所以问题是:你建议我在LVM上使用什么作为文件系统?
或者你建议我做什么(我真的不需要LVM)?

我的文件系统的配置文件:

  • 许多不同总大小的文件夹(总共2 TB,有些总计100 MB)
  • 大约200,000个不同大小的文件(其中3/4大约10 MB,1/4介于100 MB和4 GB之间;我目前无法获得更多关于文件的统计信息,因为我的ext4分区已经完全破坏了几天)
  • 许多读取但很少写入
  • 我需要容错(我停止使用mdadm RAID,因为它不喜欢整个磁盘上有一个错误,我有时会有失败的磁盘,我尽快更换,但这意味着我可以得到我文件系统上的数据损坏)

主要问题是磁盘故障;我可以丢失一些文件,但我不能同时丢失所有文件。

如果我继续使用ext4,我听说我最好尝试制作更小的文件系统并以某种方式“合并”它们,但我不知道如何。

我听说btrfs会很好,但是当没有复制数据时,我找不到任何关于如何管理丢失磁盘(或整个磁盘)的线索(mkfs.btrfs -d single?)。

欢迎提前就此问题提出任何建议!

最佳答案

这不是文件系统问题,而是磁盘的物理限制。这是一些数据:

SATA驱动器通常以不可恢复的读取错误率(URE)指定为10 ^ 14。这意味着即使磁盘工作正常,每12TB 1个字节也将无法恢复

这意味着没有RAID即使没有驱动器发生故障也会丢失数据 - RAID是您唯一的选择。

如果选择RAID5(总容量n-1,其中n =磁盘数),它仍然不够。使用包含6 x 2TB硬盘的10TB RAID5,每年一次驱动器故障的可能性为20%,单个磁盘发生故障的情况为,由于URE,您有50%的机会成功重建RAID5并恢复100%你的数据。

基本上,由于磁盘容量较大且URE相对较高,因此即使单磁盘发生故障,也需要RAID6才能保证安全。

阅读本文:http: //www.zdnet.com/blog/storage/why-raid-5-stops-working-in-2009/162

作者:,c2h5oh

相关问答

添加新评论