使用边缘的高性能计算将原始数据转换为实时可行的情报
来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-07-02
一项有助于这项工作的重要发展
使用工具用户可以交互式地查询,可视化和增强数十亿条记录中的数据科学工作流,GPU的大规模并行处理以及传统的CPU计算可提供出色的大规模性能,即使在具有数十亿行的表上,也可在毫秒内返回查询结果,在时间和位置很重要的情况下,GPU的计算能力可以处理流到达的数据,并与地理空间数据结合使用GPU图形功能进行交互式可视化。
利用海量流数据集进行实时决策的应用空间多种多样
在电信中挖掘大量的电信数据集以获取网络见解,从而优化运营效率,网络安全和欺诈检测利用交互式分析和可视化网络的能力,并记录数据以发现异常和可疑行为,在军事应用中,可对数百种流,历史和地理空间数据源进行实时分析和可视化,从而即时识别并响应陆,海或空威胁,自动驾驶汽车会生成大量的远程信息处理数据,除了对汽车进行操作外,车队经理甚至保险公司都可以利用这些信息来进行实时决策。医疗应用程序同时摄取,分析,
为了实现这些工具的实时决策能力,需要一套新兴的边缘优化的高性能计算技术
HPC边缘部署需要专用的高性能,加速的计算资源,以便将实时数据分析转移到数据源附近的现场,系统可以对环境中的实时变化做出反应,而无需将新数据发送回集中式数据中心,避免通过相对较慢或不安全的网络将数据移动到远程数据中心,还可以在成本,响应速度和安全性方面带来明显的好处,在需要快速响应的地方,好处显而易见。从自动驾驶汽车到个性化医疗再到威胁检测。
要获得这些结果所必需的三个必需的硬件系统元素是高吞吐量数据采集
高容量和低延迟数据存储以及高性能计算加速,理想情况下,每个功能的构建块都利用的高性能技术,包括与PCIe Gen 4互连的CPU,GPU,NVMe存储和高速数据采集技术,此外该技术需要设计用于外部部署边缘的传统数据中心环境,这些环境通常是严酷的,在许多情况下解决方案必须满足关于冲击和振动、湿度、高度和较大工作温度范围的独特标准。
在边缘采集数据速率可能非常高,并且通常需要一系列高速数据捕获硬件
多个FPGA,帧捕获器,视频捕获,工业IO和智能NIC可以捕获100 Gbps的数据,需要灵活性以支持这种广泛数据采集的系统可以通过提供大量与高速PCIe交换机互连的PCIe插槽来实现。
高速数据必须从采集转移到支持相同高速吞吐率的性存储,同时将数据转移到计算引擎和归档系统
PCIe中的功能允许使用RDMA传输将数据同时多播到多个子系统,以避免在不增加网络协议延迟的情况下避免系统内存瓶颈。直接PCIe连接的NVMe存储设备的容量从10TB扩展到1PB,可以满足这些要求。