神经图灵机

神经图灵机(英語:Neural Turing machineNTM)是图灵机循环神经网络模型。该方法由Alex Graves等人于2014年发表[1]。 NTM 将神经网络的模糊模式匹配功能与可编程计算机的算法能力相结合。

NTM 有一个与外部记忆资源耦合的神经网络控制器,并通过注意力机制与之交互。内存交互是端到端可微的,使得可以使用梯度下降法来优化它们。[2]具有长短期记忆(LSTM) 网络控制器的 NTM可以仅从示例中推断出简单的算法,例如复制、排序和联想回忆。[1]

原始 NTM 论文的作者没有发布他们的源代码。 [1] 第一个稳定的开源实现于 2018年在第27届国际人工神经网络会议上发布,并获得了最佳论文奖。[3][4][5]

可微神经计算机英语Differentiable neural computers是神经图灵机的产物,具有控制记忆活动位置并提高性能的注意力机制[6]

参见

參考資料

  1. ^ 1.0 1.1 1.2 Graves, Alex; Wayne, Greg; Danihelka, Ivo. Neural Turing Machines. 2014. arXiv:1410.5401  [cs.NE]. 
  2. ^ Deep Minds: An Interview with Google's Alex Graves & Koray Kavukcuoglu. [May 17, 2016]. (原始内容存档于2023-03-19). 
  3. ^ Collier, Mark; Beel, Joeran, Implementing Neural Turing Machines, Artificial Neural Networks and Machine Learning – ICANN 2018 (Springer International Publishing), 2018: 94–104, Bibcode:2018arXiv180708518C, ISBN 9783030014230, S2CID 49908746, arXiv:1807.08518 , doi:10.1007/978-3-030-01424-7_10 (英语) 
  4. ^ MarkPKCollier/NeuralTuringMachine. GitHub. [2018-10-20]. (原始内容存档于2023-06-17) (英语). 
  5. ^ Beel, Joeran. Best-Paper Award for our Publication "Implementing Neural Turing Machines" at the 27th International Conference on Artificial Neural Networks | Prof. Joeran Beel (TCD Dublin). Trinity College Dublin, School of Computer Science and Statistics Blog. 2018-10-20 [2018-10-20]. (原始内容存档于2020-07-17) (英国英语). 
  6. ^ Administrator. DeepMind's Differentiable Neural Network Thinks Deeply. www.i-programmer.info. [2016-10-20]. (原始内容存档于2024-10-05).