ARM的新芯片将为数百万个智能手机带来设备上的AI

最近有很多关于神经处理单元（NPU）的文章。NPU启用机器学习对智能手机的推断无需使用云。华为与Kirin 970中的NPU。现在是ARM，CPU核心设计背后的公司像Cortex-A73和Cortex-A75，宣布了一个名为Project Trillium的新机器学习平台。作为Trillium的一部分，ARM宣布了新的机器学习（ML）处理器以及第二代对象检测（OD）处理器。

ML处理器是一种新设计，不是基于以前的ARM组件，并且是根据高性能和效率的基础设计的。它提供了使用预训练的神经网络识别（推理）的巨大性能（与CPU，GPU和DSP相比）。ARM是开源软件的巨大支持者，由开源软件启用了Project Trillium。

第一代ARM的ML处理器将针对移动设备，并且ARM确信它将在市场上提供最高的平方毫米性能。典型的估计性能为4.6吨，即每秒46万亿（百万）的操作。

如果您不熟悉机器学习和神经网络，后者是前者中用于“教”计算机以识别照片，口语或其他任何内容的几种不同技术之一。为了能够识别事物，需要培训NN。示例图像/声音/任何被输入网络的东西以及正确的分类。然后使用反馈技术训练网络。对于“培训数据”中的所有输入，都重复了这一点。一旦训练，即使以前没有看到输入，网络也应产生适当的输出。听起来很简单，但可能非常复杂。训练完成后，NN将成为静态模型，然后可以在数百万个设备上实现并用于推理（即用于对以前看不见的输入的分类和识别）。推理阶段比训练阶段更容易，这是使用新的ARM ML处理器的地方。

项目trillium还包括第二处理器，一个对象检测处理器。想想大多数相机和许多智能手机中的面部识别技术，但更先进。新的OD处理器可以对人进行实时检测（以60 fps的全高清）进行实时检测，包括该人面临的方向以及他们的身体可见多少。例如：头朝右侧，上身向前，全身向左行驶，等等。

当您将OD处理器与ML处理器相结合时，您得到的是一个强大的系统，可以检测对象然后使用ML识别对象。这意味着ML处理器只需要在包含感兴趣对象的图像部分上工作。例如，应用于相机应用程序，这将允许该应用在框架中检测到面部，然后使用ML识别这些面孔。

在设备上而不是在云中支持推理（识别）的论点令人信服。首先，它节省了带宽。随着这些技术变得越来越无处不在，随着数据来回发送到云以识别的数据将有一个急剧的尖峰。其次，它可以在手机和服务器室中节省电源，因为手机不再使用其移动收音机（Wi-Fi或LTE）发送/接收数据，并且服务器没有用于进行检测。还有延迟问题，如果推论是在本地完成的，则结果将更快地提供。另外，不必将个人数据发送到云中，还有无数的安全优势。

Trillium项目的第三部分是由软件库和驱动程序组成的，这些软件库和驱动程序是向其合作伙伴提供的，以从这两个处理器中获得最大收益。这些库和驱动程序已针对领先的NN框架进行了优化，包括Tensorflow，Caffe和Thebob体育提现Android神经​​网络API。

The final design for the ML processor will be ready for Arm’s partners before the summer and we should start to see SoCs with it built-in sometime during 2019. What do you think, will Machine Learning processors (i.e. NPUs) eventually become a standard part of all SoCs? Please, let me know in the comments below.