SeqSelfAttention(attention_activation='sigmoid')是什么意思

SeqSelfAttention是一种自注意力机制，可以在序列数据中学习到不同位置之间的关系。其中，attention_activation参数指定了激活函数，这里使用的是sigmoid函数。sigmoid函数将输入值映射到0到1之间的范围内，可以用于对输出进行二元分类或者将输出限制在特定的范围内。在SeqSelfAttention中，sigmoid函数被用于计算注意力权重，以便更好地捕捉序列中不同位置之间的相关性。