神经语言模型精度 效率权衡的评估

加拿大滑铁卢大学(University of Waterloo)的一组研究人员最近进行了一项研究,探索了专门应用于移动设备的神经语言模型(NLMs)的准确性和效率之间的权衡。在arXiv上发表的论文中,研究人员还提出了一种简单的技术来恢复一些困惑,这是一种语言模型性能的测量方法,使用的内存可以忽略不计。

NLMs是一种基于神经网络的语言模型,通过它,算法可以学习单词序列的典型分布,并对句子中的下一个单词进行预测。这些模型有许多有用的应用程序,例如,为移动电话或其他设备提供更智能的软件键盘。

研究人员在他们的论文中写道:“神经语言模型(NLMs)存在于一个精确-效率的权衡空间,在这个空间中,更好的困惑通常是以更大的计算复杂度为代价的。”“在移动设备的软件键盘应用程序中,这意味着更高的功耗和更短的电池寿命。”

当NLMs应用于软件键盘时,它可以产生更准确的下一个单词预测,允许用户在一个给定的句子中输入下一个单词。现有的两个使用神经网络来提供这一特性的应用程序是SwiftKey1和Swype2。然而,这些应用程序通常需要大量的电力才能运行,从而迅速耗尽移动设备的电池。

研究人员在论文中解释说:“基于复杂度等标准指标,神经技术代表了一种先进的艺术语言建模技术。”然而,更好的模型是以计算复杂度为代价的,这意味着更高的功耗。在移动设备领域,能源效率当然是一个重要的优化目标。”

据研究人员称,NLMs目前主要是在图像识别和关键字定位方面进行评估的,而其在自然语言处理(NLP)应用中的准确性和效率的权衡还没有得到彻底的研究。他们的研究集中在这个未开发的研究领域,对NLMs进行评估,并在树莓派上进行准确性和效率的权衡。

研究人员表示:“我们的经验评估既考虑了树莓派的困惑度,也考虑了它的能耗。我们在这里演示了哪种方法提供了最佳的困惑度——能耗工作点。”“在一个操作点上,其中一种技术能够提供比最先进的[方法]节省40%的能源,相对增加17%的复杂性。”

在他们的研究中,研究人员还评估了准递归神经网络(QRNNs)上的一些推理时间剪枝技术。将现有训练时间剪枝方法在运行时的可用性扩展到qrns,在精度-效率的权衡空间中获得了几个操作点。为了提高使用少量内存的性能,他们建议在需要的操作点进行训练并存储单级权重更新。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢