快好知 kuaihz

神经网络引擎——Google推出用于训练稀疏神经网络的RigL算法

如今大多数AI模型都基于人工神经网络。这些神经网络由通过软件连接链接在一起的人工神经元系统组成。这些连接通过传递数据将不同的输入连接到不同的输出,执行数学算法以生成最佳结果。相同的数据路径很多,但是在许多AI模型中只使用了其中的一小部分,而其他的则未使用,占用了大量空间。这可能会导致模型变慢。神经网络引擎-

为了克服这个问题,Google最近发布了RigL,该算法可以使基于神经网络的人工智能模型更加高效。它通过在模型的训练阶段对神经网络的结构进行策略性调整来消除无用的连接,从而实现这一目标。

为了测试RigL,研究人员使用图像处理模型来分析不同字符的图像。在模型的训练阶段,RigL观察到只需要在前景图像中跳过背景图像即可对其进行处理。因此,它删除了用于处理背景像素的连接,并添加了新的更有效的连接。神经网络引擎

Google声称,即使RigL删除了某些连接,也不会影响模型的准确性。在一项测试中,Google研究人员使用RigL删除了ResNet-50模型的80%的连接。最终的神经网络获得了与原始神经网络相当的准确性。在另一个实验中,研究人员将ResNet-50缩小了99%,但仍达到了70.55%的最大精度。

并非只有Google的RigL会尝试压缩神经网络以提高准确性。有许多方法可以做到这一点,但是它们通常会损害模型的准确性。Google声称可以达到更高的准确性,同时所需的FLOP数比迄今为止最成功的三种替代技术少。因此RigL可以同时实现精度和效率。神经网络引擎-

本站资源来自互联网,仅供学习,如有侵权,请通知删除,敬请谅解!
搜索建议:神经网络  神经网络词条  稀疏  稀疏词条  算法  算法词条  用于  用于词条  训练  训练词条