多头注意力：多维度理解词语关系

多个注意力头并行计算，使模型能从不同“角度”理解词间关联，捕捉更丰富的语义。

来源

• Multi-Head Attention Explained: Queries, Keys, and Values Made Simple | DigitalOcean
• Transformers Explained Visually (Part 3): Multi-head Attention, deep dive
• Multi-Head Attention Mechanism - GeeksforGeeks

打开完整版