设备机器学习如何改变了我们使用手机的方式

自从智能手机芯片组已经走了很长一段路Android的初期bob体育提现。虽然几年前，绝大多数预算手机仅在几年前就受到了严重的动力，但今天的中档智能手机同样作为一或两岁的旗舰。

现在，普通智能手机不仅可以处理一般的日常任务，因此芯片制造商和开发人员都将目光投向了更高的目标。从那时起，很明显，为什么诸如人工智能和机器学习（ML）之类的辅助技术现在正成为中心舞台。但是，机上的机器学习意味着什么，尤其是对于像您和我这样的最终用户？

过去，机器学习任务要求将数据发送到云进行处理。这种方法具有许多缺点，从缓慢的响应时间到隐私问题和带宽限制。但是，由于芯片组设计和ML研究的进步，现代智能手机可以完全离线产生预测。

要了解这一突破的含义，让我们探索机器学习如何改变了我们每天使用智能手机的方式。

设备机学习的诞生：改进的摄影和文本预测

2010年代中期，一场整个行业竞赛，以提高相机图像的同比质量。反过来，这被证明是用于采用机器学习的关键刺激。制造商意识到，即使前者具有较低的硬件可以启动，这项技术也可以帮助缩小智能手机和专用相机之间的差距。

为此，几乎所有主要科技公司都开始提高其芯片在机器学习相关的任务方面的效率。到2017年，高通，Google，Apple和华为都通过机器学习使用的加速器发布了SOCS或智能手机。从那以后的几年中，智能手机摄像机改善了批发，尤其是在动态范围，降噪和低光摄影方面。

最近，三星和小米等制造商为该技术找到了更多新颖的用例。前者的单个选项功能例如，使用机器学习来自动从一个长达15秒的视频剪辑中创建高质量的专辑。同时，小米对这项技术的使用已从仅检测到相机应用中的对象到更换整个天空如果你愿意。

现在，许多bob体育提现Android OEM现在还使用设备机学习来自动在智能手机画廊中标记面孔和对象。这是一项以前仅由基于云的服务提供的功能，例如Google照片。

当然，智能手机上的机器学习远远超出了摄影。可以肯定地说，与文本相关的应用程序已经存在了一样长的时间，即使没有更长的时间。

Swiftkey也许是第一个在2015年一直使用神经网络进行更好键盘预测的人。声称它已经训练了数百万个句子的模型，以更好地理解各个单词之间的关系。

几年后，当Android Wear 2.0（现在佩戴操作系统）获得了预测相关答复的传入聊天消息的能力，这是另一个Halbob体育提现lmark功能。Google后来将功能称为Smart Reply，并使用Android 10将其带到主流。您很可能每次回复手机的通知阴影中的消息时都将此功能视为理所当然。bob体育提现

声音和AR：更坚硬的坚果破裂

虽然在文本预测和摄影中已经成熟，但语音识别和计算机视觉却是两个领域，每隔几个月仍在看到大幅度且令人印象深刻的改进。

以Google的即时相机翻译功能为例，该功能覆盖了现场摄像机供稿中外国文本的实时翻译。即使结果不如其在线等效的准确性，但该功能对于具有有限数据计划的旅行者而言远远超出了可用性。

高保真的身体跟踪是另一种未来派的AR功能，可以通过表演者的设备机器学习来实现。想象LG G8的空气运动手势，但无限智能，对于更大的应用，例如锻炼跟踪和手语解释。

有关Google Assistant的更多信息：您可能不知道的5个提示和技巧

在这一点上，言语，语音识别和听写已经存在了十年。但是，直到2019年，智能手机才能完全脱机。为此快速演示，请查看Google的录音机应用程序，这利用了设备机学习技术自动实时转录语音。转录存储为可编辑的文本，也可以搜索 - 对记者和学生的福音。

同样的技术也能力现场字幕，Andrbob体育提现oid 10（及以后）功能自动为您手机上的任何媒体生成封闭标题。除了用作可访问性功能外，如果您试图在嘈杂的环境中破译音频剪辑的内容，则可以派上用场。

尽管这些本身就是令人兴奋的功能，但他们将来也可以通过几种方式发展。例如，改进的语音识别可以使与虚拟助手的互动更快，即使对于那些具有非典型口音的助手也是如此。虽然Google的助手有能力处理语音命令，但此功能是可悲的是独有的像素阵容。尽管如此，它仍可以瞥见这项技术的未来。

个性化：设备机器学习的下一个前沿？

当今的绝大多数机器学习应用程序都取决于预先训练的模型，这些模型是在强大的硬件上提前生成的。从这种预训练的模型中推断解决方案（例如在Android上产生上下文智能答复）仅需几毫秒。bob体育提现

目前，单个型号经过开发人员的培训，并分配给所有需要它的手机。但是，这种千篇一律的方法无法解决每个用户的偏好。随着时间的推移，它也不能以收集的新数据馈送。结果，大多数模型都是相对静态的，只有时不时地接收更新。

解决这些问题需要将模型培训过程从云转移到单个智能手机 - 鉴于两个平台之间的性能差异，这是一个高大的壮举。但是，这样做可以使键盘应用程序专门针对您的打字样式定制其预测。更进一步，它甚至可以考虑其他上下文线索，例如在谈话中与其他人的关系。

目前，Google的Gboard使用基于设备和基于云的培训（称为联合学习）的混合物来提高所有用户的预测质量。但是，这种混合方法有其局限性。例如，Gboard根据您的个人习惯和过去的对话来预测您的下一个可能的单词，而不是整个句子。

这种个性化的培训绝对需要在设备上进行，因为将敏感用户数据（如击键）发送到云的隐私影响是灾难性的。苹果甚至在2019年宣布Coreml 3时就承认了这一点，这使开发人员得以重新培训现有模型首次使用新数据。尽管如此，即使那样，大部分模型仍需要最初对功能强大的硬件进行培训。

在Anbob体育提现droid上，这种迭代模型重新训练最好由自适应亮度特征表示。自Androbob体育提现id Pie以来，Google使用机器学习来“观察用户与屏幕亮度滑块进行的交互”，并重新培训适合每个人的偏好的模型。

启用了此功能，Google声称仅在正常智能手机互动的一周内，Android预测正确的屏bob体育提现幕亮度的能力明显提高。直到我从带有自适应亮度的Galaxy Note 8迁移到更新的LG机翼上，我才意识到此功能的效果如何，而该机翼的较新的LG机翼仅包括较旧的“自动”亮度逻辑。

至于为什么到目前为止仅限于一些简单的用例仅限于几个简单的用例，这很明显。除了在智能手机上明显的计算，电池和电源限制外，为此目的而设计的培训技术或算法并不多。

尽管这种不幸的现实不会在一夜之间发生变化，但有几个理由对移动设备上的ML的下一个十年感到乐观。随着科技巨头和开发人员都专注于改善用户体验和隐私的方法，因此，在设备培训中将继续以新的和令人兴奋的方式发展。也许我们最终可以将我们的手机视为各个词的聪明。