首页 › 答案 › 题库 › 超星尔雅学习通未分类

2017年提出的哪项技术架构成为语言模型发展的真正分水岭?()

2017年提出的哪项技术架构成为语言模型发展的真正分水岭?()
A.n-gram统计模型
B.循环神经网络(RNN)
C.Transformer架构及其自注意力机制
D.卷积神经网络(CNN)
正确答案:C
答案解析:
选项A:n-gram统计模型是一种基于词频统计的语言模型,通过计算相邻n个词同时出现的概率来预测下一个词。它在早期自然语言处理中发挥了重要作用,但存在局限性,如无法处理长距离依赖关系,且模型复杂度随n增大而迅速增加。它早于2017年提出,并不是2017年成为语言模型发展分水岭的技术,A选项错误。
选项B:循环神经网络(RNN)能够处理序列数据,通过隐藏层的循环连接保存序列中的历史信息,从而捕捉序列中的依赖关系。然而,传统RNN在处理长序列时会面临梯度消失或梯度爆炸问题,使得其难以有效学习长距离依赖。虽然RNN对语言模型发展有重要意义,但并非2017年出现的具有分水岭意义的技术,B选项错误。
选项C:2017年提出的Transformer架构及其自注意力机制成为语言模型发展的真正分水岭。自注意力机制能够让模型在处理序列时,动态地关注输入序列的不同部分,有效捕捉长距离依赖关系,并且并行计算能力强,大大提高了训练效率。基于Transformer架构的模型,如BERT、GPT等取得了巨大成功,推动了自然语言处理领域的飞速发展,彻底改变了语言模型的发展路径,C选项正确。
选项D:卷积神经网络(CNN)主要应用于图像处理领域,通过卷积层、池化层等操作提取图像的局部特征。虽然CNN在某些自然语言处理任务中也有应用尝试,但由于自然语言的序列特性与图像数据结构不同,CNN在语言模型中的应用效果不如专门为序列设计的Transformer架构。它也不是2017年使语言模型发展产生重大变革的技术,D选项错误。