英特尔OpenVINO工具套件进行了重大升级可轻松加速AI推理性能
英特尔OpenVINO工具套件进行了重大升级,可轻松加速AI推理性能。
最新消息:自2018年推出OpenVINOtrade,以来,英特尔已经帮助数十万开发者大幅提升了AI推理性能,并将其应用从边缘计算扩展到企业和客户端英特尔于2022年巴塞罗那世界移动通信大会前夕,推出了英特尔reg,发行版OpenVINO工具套件的全新版本其中的新功能主要根据开发者过去三年半的反馈而开发,包括更多的深度学习模型选择,更多的设备可移植性选择以及更高的推理性能和更少的代码更改
英特尔网络与边缘事业部OpenVINO开发者工具副总裁Adam Burns表示:最新版OpenVINO 2022.1根据数十万开发者在过去三年多的反馈而开发,旨在简化和自动化优化工作最新版本增加了硬件自动发现和自动优化功能,让软件开发者可以在任意平台上实现最优性能该软件与英特尔芯片相结合,可实现显著的AI投资回报优势,并可轻松部署到用户网络中基于英特尔技术的解决方案中
关于OpenVINO:用于高性能深度学习的英特尔发行版OpenVINO工具套件基于oneAPI而开发,以期在从边缘到云的各种英特尔平台上,帮助用户更快地将更准确的真实世界结果部署到生产系统中通过简化的开发工作流程,OpenVINO可赋能开发者在现实世界中部署高性能应用程序和算法
重要意义:边缘AI正在改变各行各业,赋能各种全新,增强的用例,包括制造,健康与生命科学应用,以及零售和安全保障根据Omdia的研究,由于企业对边缘AI推理的需求越来越高,全球边缘AI芯片组的收入截至2025年将达到519亿美元边缘推理降低了时延,减少了带宽需求并提高了性能,从而满足了新兴物联网设备和应用对及时处理越来越高的要求
与此同时,开发者的工作负载也在不断增加和变化因此,他们需要更简单,自动化程度更高的流程和工具,这些工具需要具备全面的智能功能,从而优化从构建到部署的性能
关于OpenVINO 2022.1的功能:借助这些新功能,开发者可以更轻松地在更广泛的深度学习模型中采用,维护,优化和部署代码。亮点包括:
更简易的更新API
bull,从框架转换时减少代码更改:现在通过保留精确格式减少转换,模型不再需要布局转换。
bull,加速AI的更简单途径:模型优化器的API参数已减少,能够最大限度地降低复杂性。在完整的训练集中,采用“验证”方法的60亿参数模型略好于采用“微调”的1750亿参数模型!。
bull,训练时充分考虑到推理:OpenVINO训练扩展和神经网络压缩框架提供可选择的模型训练模板,这些模板可以进一步提升性能,同时保持动作识别,图像分类,语音识别,问答和翻译的准确性。
更广泛的模型支持
bull,支持更广泛的自然语言可编程模型以及文本转语音和语音识别等用例:动态形状支持可更好地赋能BERT系列和Hugging Face转换器。
bull,优化和支持高级计算机视觉:Mask R—CNN系列现在已被进一步优化,并引入了对双精度模型的支持。
bull,直接支持 PaddlePaddle 模型:模型优化器现在可以直接导入 PaddlePaddle 模型,而无需先转换到另一个框架。
可移植性和性能
bull,更智能的设备使用,无需修改代码:AUTO设备模式可根据模型要求自行发现可用的系统推理能力,因此应用程序无需再提前了解其计算环境。
bull,工具套件内置专家级优化:通过自动批处理功能而提高设备性能,自动调整和自定义适合开发者的系统配置,和深度学习模型的吞吐量设置因此使开发者实现了可扩展并行处理以及优化内存的使用体验
bull,专为第12代英特尔reg,酷睿trade,打造:支持混合架构,为使用CPU和集成GPU进行高性能推理提供了增强功能。
关于边缘采用:通过一次编写即可随处部署的方法,开发者只需一次性编写应用程序或算法,之后即可部署到包括CPU,iGPU,Movidius VPU和GNA在内的广泛的英特尔架构中伴随着数据的爆炸式增长,英特尔开发了软件,使开发者能够更加智能地处理数据,以解决挑战并转变商业模式因此,人们越来越多地在边缘采用全新,独特的AI推理技术,并扩展到企业和客户端
作为Zeblok的AI平台即服务,AI—MicroCloud是一款从云到边缘的MLDevOps平台,允许客户大规模混搭AI独立软件开发商和供应商,以交付边缘AI应用程序,且同时支持完整的生命周期部署将英特尔OpenVINO软件集成到AI—MicroCloud后,使用英特尔处理器将大幅增强AI推理性能,并把每次洞察的成本降至最低Zeblok的AI—MicroCloud平台目前正在进行评估,以支持全球各地城市的具体网络拓扑
Zeblok创始人兼首席执行官Mouli Narayanan表示:我们的使命就是要考虑每次洞察的成本通过采用英特尔处理器,我们实现了经济,高能效的AI推理,并产生了极高的投资回报这个新版OpenVINO将为我们的生态系统创造更高的价值
American Tower已经建设了六座边缘数据中心,而且未来将会建设更多该公司最近收购了CoreSite以加速5G边缘部署他们正在与英特尔和Zeblok合作,为客户提供完整的交钥匙解决方案
。