据ATYUN网1月17日消息，美国谷歌公司研发出新型神经网络架构Titans，可提升大型语言模型长序列处理能力。Titans架构通过将现有的Transformer模块与一种新型神经记忆模块相结合，从而具备注意力机制和上下文记忆能力。实验结果表明，该架构在语言建模、常识推理、时间序列预测等任务上超越了Transformer和现代线性RNN模型，可大幅提升模型处理长序列数据的性能和效率。

消息来源：https://www.atyun.com/64895.html