为100多个VM Web服务器选择SAN技术

Modified on: Wed, 21 Aug 2019 09:20:03 +0800

问题

我们在现有平台上遇到了性能问题,所以我转向蜂巢头脑,对此提出第二意见。到目前为止,性能问题与IOPS而不是吞吐量有关。

情景

一个16个主机的刀片服务器中心,每个主机都有64GB的RAM。 (这是戴尔M1000e w / M610s,但这可能不相关)
500个虚拟机,所有Web服务器(或相关的Web技术,如MySQL,负载平衡器等),大约90%是Linux,其余是Windows。
Hypervisor是VMWare vSphere。
我们需要提供主机HA,因此本地存储空间不足。因此,主机只有一张SD卡可以启动。

有点背景思考

目前我们最多有6台主机(刀片服务器中心将在当前增长的情况下在几年内满负荷运转)我们正在运行iSCSI到戴尔MD3220i w / MD1220以进行扩展。

我们考虑过的可能选项,以及他们的直接想法:

  • 跨NFS数据存储区域传播VM,并运行满足特定数量VM的性能要求的NFS存储。 NFS似乎比规模更便宜,并且比块级存储抽象得多,所以我们可以根据需要移动它。
  • 添加更多MD3220i控制器/目标。我们担心的是,这样做会对VMWare如何处理大量目标产生负面影响。
  • 将所有磁盘从Nearline SAS交换到SSD。这应该完全解决IOPS问题,但是具有明显的副作用,即削减我们的存储容量。它还很贵。
  • vSphere 5有一个存储设备。我们还没有研究过这么多,但它必须运作良好吗?

问题

你会在所有这些下运行什么样的存储?它不需要扩展到另一个刀片服务器中心,它只需要为所有这些VM提供相对良好的性能。

我不是在寻找“购买SAN x因为它是最好的”答案。我正在寻找各种SAN技术(iSCSI,FC,FCoE,InfiniBand,NFS等),不同类型的存储(SATA,SAS,SSD)以及处理100多个VM存储的方法(整合,分离) ,Sharding等)。

绝对欢迎任何想法,链接,指南,指针等。我也很想听听我们已经考虑过的上述选项的想法。

非常感谢任何意见!

更新'3月5日'

到目前为止一些非常棒的回复,非常感谢大家!

到目前为止对这个问题的回答,我开始认为以下路线是这样的:

  • 将可用存储分层到VMWare群集,并将VM磁盘放在适合其工作负载的存储上。
  • 可以使用能够自动管理数据放置到合适存储空间的SAN。
  • Infiniband看起来是最具成本效益的,可以在主机满负荷的情况下获得所需的带宽。

这听起来似乎值得利用主要SAN供应商的售前服务来获取他们对场景的看法。

我将继续考虑这个问题一段时间。同时感激不尽的建议!

作者:,SimonJGreen

最佳答案

良好的VMWare存储平台的关键是了解VMWare生成的负载类型。

  • 首先,由于您托管了大量服务器,因此工作负载通常是随机的。有许多IO流同时进行,并且其中很多都不能成功预先缓存。
  • 其次,它是变量。在正常操作期间,您可能会看到70%的随机读取,但是当您决定将VM移动到新的数据存储区时,您将看到大量的60GB顺序写入。如果您对架构不太谨慎,这可能会削弱您的存储处理正常IO的能力。
  • 第三,您环境的一小部分通常会产生很大一部分存储工作负载。

为VMWare平台构建存储的最佳方法是从基础开始。

  • 您需要能够为大型随机读取工作负载提供服务,这意味着更快的驱动器,以及可能的SSD。大多数现代存储系统允许您根据访问方式自动移动数据。如果您打算使用SSD,您需要确保使用它。它应该作为一种逐步减少热点的方式。无论您是否使用SSD,能够将所有工作放在所有驱动器上都是有益的,因此具有某种存储池的东西将是有益的。
  • 您需要能够为间歇性大写写提供服务,这种写入并不关心底层驱动器的主轴速度,但确实关心控制器堆栈的效率和缓存大小。如果您有镜像缓存(除非您愿意在控制器发生故障时返回备份,否则这不是可选的),用于镜像的两个缓存之间的带宽通常会成为大型顺序写入的瓶颈。确保您获得的任何内容都具有用于写入缓存的高速控制器(或集群)互连。尽可能多地使用尽可能多的端口来获得高速前端网络,同时保持实际价格。良好的前端性能的关键是将存储负载放在尽可能多的前端资源上。
  • 您可以通过设置低优先级存储层以及精简配置来严重降低成本。如果您的系统没有自动将单个块迁移到便宜的大/慢速驱动器(如近线SAS或具有7200 RPM和2TB +大小的SATA),请尝试手动执行。大型慢速驱动器是存档,备份,某些文件系统甚至是低使用率服务器的绝佳目标。
  • 坚持存储是VAAI集成的,以便VMWare可以取消分配VM的未使用部分以及数据存储。
作者:Basil

相关问答

添加新评论