新的深度学习模型将图像分割带到边缘设备
来源：CPDA数据分析师网 / 作者：数据君 / 时间：2021-07-21
对象分类，检测和分段
人们对机器学习系统越来越感兴趣的主要原因之一是它们在计算机视觉中可以解决的问题,机器学习在计算机视觉中常见的一些应用包括图像分类，对象检测和分割,图像分类确定图像中是否存在某种类型的对象,物体检测使图像分类更进一步，并提供了检测到的物体所在的边界框。
分段有两种形式
语义分段和实例分段,语义分割指定输入图像中每个像素的对象类别,实例分割可将每种类型的对象的各个实例分开,出于实际目的，分段网络的输出通常由着色像素表示,细分是迄今为止复杂的分类任务,卷积神经网络是计算机视觉任务中常用的深度学习架构，其复杂性通常通过其具有的参数数量来衡量,神经网络的参数越多，将需要的内存和计算能力就越大,一种流行的语义分段神经网络，包含超过8500万个参数,每个参数4字节，这意味着使用应用程序至少需要340兆字节的内存才能运行神经网络,鉴于神经网络的性能在很大程度上取决于可以执行快速矩阵乘法的硬件，这意味着必须将模型加载到图形卡或某些其他并行计算单元上，在这些计算单元中内存比计算机的更为稀缺。
边缘设备的机器学习
由于其硬件要求，大多数图像分割应用程序都需要Internet连接才能将图像发送到可以运行大型深度学习模型的云服务器,云连接可能会限制使用图像分割的位置。例如，如果无人驾驶飞机或机器人将在没有互联网连接的环境中运行，那么执行图像分割将成为一项艰巨的任务。在其他领域，AI代理将在敏感环境中工作，并且将图像发送到云将受到隐私和安全性约束,在需要来自机器学习模型的实时响应的应用程序中，由往返于云造成的延迟可能会令人望而却步。值得注意的是，网络硬件本身会消耗大量功率，由于所有这些原因（以及更多其他原因），边缘AI和微型机器学习成为学术界和应用AI领域中研究和研究的热点领域，目标是创建可以在内存和功耗受限的设备上运行而无需连接到云的机器学习模型。
用于计算机视觉的注意聚光镜
利用“注意冷凝器”来减小模型尺寸而不会影响性能，自我注意机制是一系列通过关注重要信息来提高神经网络效率的系列，自我注意技术已成为自然语言处理领域的福音，它们一直是诸如深度学习架构成功的决定性因素，虽然以前的架构（例如递归神经网络）在较长的数据序列上具有有限的容量，但是使用自我注意机制来扩大其范围。诸如GPT-3之类的深度学习模型利用“变形金刚”和自我关注来产生长字符串，这些字符串（至少表面上）在长跨度上保持连贯性，AI研究人员还利用注意力机制来改善卷积神经网络的性能，一种非常节省资源的注意机制，并将其应用于图像分类器机器学习模型。
神经网络的机器驱动设计
设计ML神经网络的关键挑战之一是找到性能的体系结构，同时还要遵守目标设备的计算预算，为了应对这一挑战，研究人员使用了“生成综合”技术，该技术是一种基于指定目标和约束条件创建神经网络体系结构的机器学习技术，基本上研究人员无需手动摆弄各种配置和体系结构，而是为机器学习模型提供了一个问题空间，并让它发现了的组合，此处利用的机器驱动设计过程要求人工提供初始设计原型和人工指定的所需操作要求（例如，尺寸，精度等），而过程将接管其学习，并根据运营需求，任务和数据量身定制架构设计。
研究人员使用机器驱动的设计来调整
人们对机器学习系统越来越感兴趣的主要原因之一是它们在计算机视觉中可以解决的问题,机器学习在计算机视觉中常见的一些应用包括图像分类，对象检测和分割,图像分类确定图像中是否存在某种类型的对象,物体检测使图像分类更进一步，并提供了检测到的物体所在的边界框。
分段有两种形式
语义分段和实例分段,语义分割指定输入图像中每个像素的对象类别,实例分割可将每种类型的对象的各个实例分开,出于实际目的，分段网络的输出通常由着色像素表示,细分是迄今为止复杂的分类任务,卷积神经网络是计算机视觉任务中常用的深度学习架构，其复杂性通常通过其具有的参数数量来衡量,神经网络的参数越多，将需要的内存和计算能力就越大,一种流行的语义分段神经网络，包含超过8500万个参数,每个参数4字节，这意味着使用应用程序至少需要340兆字节的内存才能运行神经网络,鉴于神经网络的性能在很大程度上取决于可以执行快速矩阵乘法的硬件，这意味着必须将模型加载到图形卡或某些其他并行计算单元上，在这些计算单元中内存比计算机的更为稀缺。
边缘设备的机器学习
由于其硬件要求，大多数图像分割应用程序都需要Internet连接才能将图像发送到可以运行大型深度学习模型的云服务器,云连接可能会限制使用图像分割的位置。例如，如果无人驾驶飞机或机器人将在没有互联网连接的环境中运行，那么执行图像分割将成为一项艰巨的任务。在其他领域，AI代理将在敏感环境中工作，并且将图像发送到云将受到隐私和安全性约束,在需要来自机器学习模型的实时响应的应用程序中，由往返于云造成的延迟可能会令人望而却步。值得注意的是，网络硬件本身会消耗大量功率，由于所有这些原因（以及更多其他原因），边缘AI和微型机器学习成为学术界和应用AI领域中研究和研究的热点领域，目标是创建可以在内存和功耗受限的设备上运行而无需连接到云的机器学习模型。
用于计算机视觉的注意聚光镜
利用“注意冷凝器”来减小模型尺寸而不会影响性能，自我注意机制是一系列通过关注重要信息来提高神经网络效率的系列，自我注意技术已成为自然语言处理领域的福音，它们一直是诸如深度学习架构成功的决定性因素，虽然以前的架构（例如递归神经网络）在较长的数据序列上具有有限的容量，但是使用自我注意机制来扩大其范围。诸如GPT-3之类的深度学习模型利用“变形金刚”和自我关注来产生长字符串，这些字符串（至少表面上）在长跨度上保持连贯性，AI研究人员还利用注意力机制来改善卷积神经网络的性能，一种非常节省资源的注意机制，并将其应用于图像分类器机器学习模型。
神经网络的机器驱动设计
设计ML神经网络的关键挑战之一是找到性能的体系结构，同时还要遵守目标设备的计算预算，为了应对这一挑战，研究人员使用了“生成综合”技术，该技术是一种基于指定目标和约束条件创建神经网络体系结构的机器学习技术，基本上研究人员无需手动摆弄各种配置和体系结构，而是为机器学习模型提供了一个问题空间，并让它发现了的组合，此处利用的机器驱动设计过程要求人工提供初始设计原型和人工指定的所需操作要求（例如，尺寸，精度等），而过程将接管其学习，并根据运营需求，任务和数据量身定制架构设计。
研究人员使用机器驱动的设计来调整
用于机器人技术和边缘AI应用的硬件套件。从本质上讲，与文献中先前提出的网络相比，神经网络将在大多数边缘硬件上快速运行，但是如果您要生成针对特定硬件量身定制的则可以使用机器驱动的设计探索方法为其创建一个新的高度定制化的网络，在自动驾驶无人机，机器人和车辆方面具有明显的应用，其中语义分段是导航的关键要求，但是设备上的细分可以有更多的应用程序，这种类型的高度紧凑，高效的分割神经网络可以用于各种各样的事物，包括制造应用（例如零件检查/质量评估，机器人控制），医疗应用（例如细胞分析，肿瘤分割），卫星遥感应用（例如，土地覆盖物分割）和移动应用（例如，用于增强现实的人为分割）。
京公网安备 11010502034401号
课程体系 
试听申请 
复听申请 
在线报名 
考试大纲 
考试报名 
准考证打印 
