计算存储以新颖的方式重振存储
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-05-19
简而言之计算存储是一种IT架构
其中在存储设备级别处理数据以减少必须在存储和计算平面之间移动的数据量,因此该技术提供了一种更快,更有效的方式来解决我们数据繁重的世界所面临的独特挑战-通过减少数据移动并允许多达20到40个分析响应来满足减少的多余带宽并提供非常低的延迟响应时间。
如果您考虑一下企业存储的历史就像童话故事
“金发姑娘”和“三只熊” –有时太热了,那么太慢了,计算存储才是正确的!当今的数据中心(包括大规模超大规模数据中心)主要依赖于使用Von Neumann体系结构的基本方法构建的传统服务器硬件,Von Neumann体系结构是适用于几乎所有通用服务器的70年历史的计算机体系结构,坦率地说,从未经历过正确的尝试变化。
新方法之前并没有取得太大的成功
我们有了诸如AI和ML之类的应用程序,这些应用程序需要大量的原始数据(结构化和非结构化),这些数据需要高计算能力来“学习”,因此计算能力已成为瓶颈。在传统的横向扩展模型中,此问题通过添加节点来解决,从而获得更多的分布式计算能力和更多的内存。添加服务器节点的成本很高。添加更多节点还增加了互连的长度,从而增加了数据移动和分析所需的时间。
进入计算存储-一种技术
该技术可以将传感器(例如自动驾驶汽车,视频监控摄像头,交通信号灯)中的原始信息巧妙地组织为有意义的数据,因为缺乏移动性可以促进 实时数据分析,从而通过减少输入来提高性能 /输出瓶颈,随着人工智能,机器学习,物联网工作负载涌现出惊人的数据量(IDC表示,到2025年,数据总量将超过163 ZB,其中95%是由物联网设备生成的),这是真正的技术缺少链接。
计算存储可以提供更强大的处理能力来辅助每个主机CPU
从而使组织可以提取其可以生成的所有数据,并仅提供真正需要的数据,从而使“管道”尽可能保持开放,这样一来就可以收集更多分析所需的原始数据,并为组织提供了仅从该数据中提取实现价值所需的自由。在比较中当企业必须处理整个数据集时,就会延误增值,结果这种方法可程度地提高效率,减少功耗并降低运营成本。
官方定义计算存储的正式定义只用了一年的时间就完成了
这是一个相当快速的过程,这证明了对如此根本不同的计算机存储技术的迫切需求。一年多以前 存储网络行业协会(SNIA)是一个由198家跨信息技术的成员公司组成的非营利组织,旨在探讨如何定义和设置有关计算存储技术的标准,经过几个月的会议和一些辩论,他们现在制定了正式定义:
计算存储体系结构可通过集成计算资源(直接与存储,存储附近或主机与存储之间)集成来提高应用程序性能和/或基础架构效率。这些计算资源不在传统的计算和内存体系结构之外,这些体系结构的目标是:启用并行计算;减少I / O流量;和/或减轻对现有计算,内存,存储和I / O的其他限制。
受益于计算存储的行业
当将计算存储应用于多个用例时,将变得更易于理解和欣赏,要求计算存储技术强大和高效的行业示例是新型“智能”汽车和即将推出的全自动驾驶汽车,这些汽车必须处理数据负载(每天高达28TB)以进行分析,否则可能会影响驾驶员的安全性 ,一些设计CS架构的公司已经能够提供利用小型化技术的技术,该技术可以与SSD一起使用来处理数据负载,这在空间受限的边缘相关(例如汽车)中效果很好,但是尽管外形尺寸很大,CS解决方案仍可以将功能提高20倍甚至更多,并且使支持AI的系统能够以的方式读取分析数据。
在数以千计的物理服务器和数百万个虚拟机的规模上运行的超大规模数据中心必须并行执行各种工作负载
这些超大规模数据中心开始使用计算存储驱动器(CSD)来处理PB的数据,同时也实现了体积小,功耗低但仍具有巨大计算能力的更小尺寸的优点。这样,纤巧但强大的CSD可以帮助提高超大规模架构的计算能力,这些超大规模架构将机器用于人工智能(AI)和机器学习(ML)应用程序,而这些应用程序通常需要诸如实时,复杂和并行索引的操作和模式匹配。
出于欺诈检测目的而需要实时分析大量数据以获取销售点数据的零售企业,也可能会受益于CS更快的响应时间
这些应用程序必须在执行分析请求之前扫描大量数据,以识别与查询相关的信息子集。将大量数据移出存储系统,跨网络并移入主主机内存会导致时间和延迟损失,这是实时分析应用程序无法承受的。
内容交付网络(CDN)是利用CS技术的另一个市场
该技术可以帮助进行加密/数字版权管理(用于验证用户可以访问内容),在这种情况下CS通过安全地解锁内容而不共享密钥来提供更好的数据管理,这种将每个服务器机架的密钥匹配提高40倍的能力仅仅是这项工作的开始。
在当今数据密集型世界中,减少数据移动至关重要
数据移动不仅花费时间,还花费金钱,资源和有时浪费的分析资源。现在是时候进行存储的下一步,并实现NVMe计算存储驱动器,按照数据的步骤进行操作,注意在驱动器内部完成多少工作将节省数据移动时间-提高效率并减少主机CPU和内存负载。