据新智元5月21日消息，美国谷歌公司在大模型能力涌现机制方面取得进展，初步阐明语言模型中的上下文学习如何受到语义先验和输入-标签映射影响。研究对5种语言模型进行了测试，发现语言模型的上下文学习能力会随着参数规模而改变。当输入标签映射相互矛盾时，大模型可以覆盖预训练的先验知识，从上下文范例中学习，而小型语言模型不具备这种能力。该研究强调了语言模型的上下文学习行为如何根据其参数而改变，并指出更大的语言模型具有将输入映射到许多类型的标签的涌现能力。

消息来源：https://mp.weixin.qq.com/s/XGysD7JFnoHMpAXZd2xdNg