对于这样的数据trainX Y shape is: (198709, 30, 11) (198709, 30, 11) (198709, 1),怎么设置多头注意力机制的头数呢

动态 未结 0 102
小小草
小小草 LV1 2023年9月23日 23:40 发表
对于这样的数据,你可以尝试使用2到4个头。通常来说,多头注意力机制的头数应该是输入特征数的平方根的整数部分。 在你的情况下,输入特征数为11,因此平方根约为3.3,所以使用3或4个头可能会比较合适。不过,最好还是尝试不同的头数,并根据验证集上的性能选择最佳的头数。
收藏(0)  分享
相关标签: 智能问答
问题没解决?让AI助手帮你作答 AI助手
0个回复
  • 消灭零回复