"""
Dual Attention Network for Scene Segmentation---CVPR2019

论文地址：https://arxiv.org/pdf/1809.02983.pdf
这是CVPR2019的文章，思想上非常简单，就是将self-attention用到场景分割的任务中，
不同的是self-attention是关注每个position之间的注意力，而本文将self-attention做了一个拓展，
还做了一个通道注意力的分支，操作上和self-attention一样，不同的通道attention中把生成Q，K，V的三个Linear去掉了。最后将两个attention之后的特征进行element-wise sum。
"""
from attention.DANet import DAModule
import torch

input = torch.randn(50, 512, 7, 7)
danet = DAModule(d_model=512, kernel_size=3, H=7, W=7)
print(danet(input).shape)