20 lines
978 B
Python
20 lines
978 B
Python
from attention.SelfAttention import ScaledDotProductAttention
|
||
import torch
|
||
|
||
input = torch.randn(50, 49, 512)
|
||
sa = ScaledDotProductAttention(d_model=512, d_k=512, d_v=512, h=8)
|
||
output = sa(input, input, input)
|
||
print(output.shape)
|
||
|
||
|
||
"""
|
||
Attention Is All You Need---NeurIPS2017
|
||
|
||
论文地址：https://arxiv.org/abs/1706.03762
|
||
|
||
这是Google在NeurIPS2017发表的一篇文章，在CV、NLP、多模态等各个领域都有很大的影响力，
|
||
目前引用量已经2.2w+。Transformer中提出的Self-Attention是Attention的一种，
|
||
用于计算特征中不同位置之间的权重，从而达到更新特征的效果。首先将input feature通过FC映射成Q、K、V三个特征，
|
||
然后将Q和K进行点乘的得到attention map，再将attention map与V做点乘得到加权后的特征。
|
||
最后通过FC进行特征的映射，得到一个新的特征。（关于Transformer和Self-Attention目前网上有许多非常好的讲解，这里就不做详细的介绍了）
|
||
""" |