图灵汇官网

大数据存储面临的挑战与解决方案

大数据的应用为企业的存储带来了诸多挑战。定义和管理大数据远比想象中的复杂。

大数据存储需求的确定

一旦明确了大数据存储的需求，就需要考虑如何有效减少数据量。大部分数据在一两天后就失去了价值，因此需要通过积极的报废协议来清理这些数据。而那些具有长期价值的数据，则应进行加密、备份和归档。

随着需求的增长，公共云成为存储短期数据的理想选择，尤其是在突发情况下。存储桶可以低成本创建和删除，而且扩大规模也相对容易。此外，对于一些用户而言，即使是100TB的数据，也可以轻松地通过最小的Ceph集群来存储。目前，一些解决方案已经能够轻松应对这样的存储需求。

对象存储的作用

大数据与对象存储常被混淆，因为对象存储能够轻松处理各种类型的数据，并提供强大的元数据管理功能。与传统RAID存储阵列相比，对象存储的成本更低，而且广泛使用开源软件和商用现成硬件。这些存储设备通常配备6到12个硬盘驱动器，服务器主板和快速网络。随着网络速度的提升，未来的对象存储将采用基于RDMA的100GbE或200GbE网卡，这将进一步提高性能。

除了对象存储，还有一些开源的全球文件系统，这些系统已经在金融系统和高性能计算领域使用多年。这些系统虽然需要一定规模的支持，但具备灵活的扩展能力。

生命周期管理

从大数据存储池中获取数据是一项艰巨的任务。在企业的存储软件中加入报废标签是一种有效的管理方式，即在创建数据对象时设置自毁标签值。然而，随着数据移动到成本较低的归档层，管理策略会变得更加复杂。大数据的数据流模型常常被描述为“多条小溪汇聚成一条大河”，但实际上，这些数据可能需要分解为时间戳以便后期处理，而结构化的数据库条目则可以直接存储在主数据库中。

更复杂的是，不同数据的活跃程度不同。活跃数据可能需要存储在更快速的存储设备中，如SSD固态硬盘。

数据隐私法规

通用数据保护规范（GDPR）即将实施。违反该法规的企业可能会面临全球收入4%的罚款。该法规不仅适用于欧盟企业，也适用于全球范围内的企业。GDPR的核心在于数据治理、生命周期管理、访问和使用以及加密等方面。

企业需要确保其存储供应商符合GDPR标准。尽管一些供应商提供了加密措施，但这并不意味着它们能满足所有数据标准，如HIPAA、SOX或GDPR。企业作为数据所有者必须掌握密钥，而不是依赖供应商。幸运的是，云端提供了加密支持，但更好的选择是将加密功能内置到服务器或虚拟机的工作流程中。

SSD固态硬盘的影响

SSD固态硬盘正在改变存储系统的规则。作为介于DRAM和硬盘之间的大容量存储设备，SSD硬盘在随机IO操作中的性能提升了约1000倍，带宽增加了10到100倍。这对于处理大量数据非常重要，尤其是在使用Hadoop或GPU加速等并行处理时。

未来几年，市场上将出现100TB容量的SSD硬盘，这些设备将具有优异的性能。一些小型存储设备也能创造奇迹。例如，最小的Ceph对象存储阵列只需四个节点，即可容纳1.2PB的SSD硬盘容量。尽管成本较高，但从长远来看，这样的投资是划算的。

企业不应在短期内过度投资存储设备，因为未来两年内硬盘的价格和性能指标都将发生变化。企业需要确保将来购买的任何设备和驱动器都适合现有的集群，以避免资源浪费。

数据压缩

如今，存储设备能够通过压缩软件将1PB的数据压缩至5PB，这大大节省了存储空间。SSD硬盘支持高带宽，因此将压缩后的数据写入设备是有意义的。最佳的做法是在数据创建时进行压缩，这不仅可以减少网络流量，还能节省存储空间和传输时间。

“重新水化”数据是一个简单的过程，可以通过少量资源实现。提高压缩率可以进一步降低成本。全闪存阵列通常包含压缩功能，而这一技术也作为软件应用在家电中。

选择云存储服务

在考虑硬件选项后，采用云存储服务可能是一个经济且灵活的选择。亚马逊、谷歌和微软等云服务提供商在实施新架构和软件编排方面处于领先地位。云计算按需付费，可以有效应对存储负载的高峰，例如零售行业的传感器数据。这减少了企业内部购买存储设备的需求。

然而，要达到与内部运营相媲美的性能水平仍具挑战。并非所有云服务实例都能提供相同的性能，一个高度优化的内部集群可能会表现得更好。

总之，存储技术仍在不断发展，企业将看到更多增值服务的出现，如加密、压缩、索引和标签服务等。