Transformer模型中的注意力机制与传统的注意力机制有何不同?
选项:
A:Transformer模型中的注意力机制使用了不同的激活函数,而传统的注意力机制使用了相同的激活函数。
B:Transformer模型中的注意力机制使用了不同的权重计算方式,而传统的注意力机制使用了相同的权重计算方式
C:以上都不是
D:Transformer模型中的注意力机制使用了自注意力和跨注意力两种机制,而传统的注意力机制只使用了自注意力机制。
发布时间:2024-06-20 17:08:03