Provably Learning Multi-Head Attention with Queries

本文研究从黑盒输入输出访问中学习多头softmax注意力机制的问题。在给定查询token序列的情况下，学习者只能观察到最终token的标量输出。以往的工作提出了使用O(d^2)次值查询恢复单头注意力参数(W,v)的算法，但对于多头注意力，已

历史摘要 · 未重新核验 · arXiv cs.CR