忘记文件系统:可伸缩云存储的未来将成为对象
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-09-04
每个组织都在生成大量非结构化数据
这并不是十年前企业存储提供商所期望的数据世界。在过去的半个世纪中,文件系统的想法为计算提供了出色的服务,它为计算机提供了一个界面,以可预测地并一致地查找存储在磁盘上的数据。
我的云原生应用程序不需要文件系统进行持久存储
当存储管理员在当前设置中无法再有效地管理数据量时,会发生什么情况?一种方法是通过集群或分布式文件系统,将数据分布在单个名称空间内的多个服务器之间,但是这些文件系统中的许多文件都需要相当小心,工作量会随着群集节点本身的增加而增加,对于预算有限且数据量无限的组织而言,这并不是解决方案。
无论如何,的应用程序倾向于将数据存储为对象
与其在多个存储节点之间管理所有固有的复杂性,不如在一个存储空间上管理单个名称空间,而是为什么不让每个节点拥有自己的文件系统,并通过单个对象存储管理数据,让外部代理协调数据的分配?
存储的未来就是存储的未来
从基本的角度来看,对象存储只是指可以单独寻址的数据块。数据可以具有与之关联的元数据,并可以通过API访问,某些对象地址未绑定到物理硬件位置。有时对象是可变的(也就是说,可以修改),而有时则不是,您可以将对象存储调和到传统存储堆栈的任何级别,或者可以组成怪异的不同存储堆栈,大多数现代存储阵列都基于对象存储,它们在其中具有内部逻辑,可以对存储进行分块,分配和寻址。实际上,大多数NoSQL数据库都是对象存储。
到目前为止,大多数组织都拥有PB级的存储空间
管理如此多的数据并不是一件容易的事,这些数据可能超过十亿个文件,真正的问题不是存储,而是元数据和文件系统。” “只有少数供应商能够可靠地做到这一点,他们总是为此收取高额费用。
如此大的存储系统变得过于脆弱,备份和存储这些数据变得太困难了
将十亿个文件移到第二个位置然后再移回“太多数据了”,切换硬件变得更加困难,管理名称空间问题也变得更加困难,对象存储的好处在于,您不是在管理大型数据块(例如单个驱动器上的所有数据),而是管理较小的块,可以更轻松地在多个磁盘之间分配和复制这些块,“您将数据保护逻辑应用于硬盘而不是数据本身。
转向基于对象的存储将面临挑战
的变化可能是您的应用程序必须通过API访问其对象,开发人员将必须检查其应用程序,并用对对象的调用来替换对文件系统的调用,对象的可访问性可能无法提供与基于文件的存储相同的一致性。