AI社区

人工智能模型社区 1个主题内容
ChatGPT注册使用 0个主题内容
算力百科 0个主题内容
bug及解决办法 0个主题内容
数据集应用社区 7个主题内容
AI大学 2个主题内容
应用案例：双目作为3D相机，仿照人类双眼感知世界
卷积神经网络（Convolutional Neural Networks）
BP(back propagation)神经网络
SOM 自组织映射神经网络
独立同分布（iid，independently identically distribution）
层次聚类算法
Mean Squared Error 均方误差
致AI开发者的公开信

Messages

ICLR 2022 | 基于对抗自注意力机制的预训练语言模型

Hongqiu Wu, Ruixue Ding, Hai Zhao, Pengjun Xie, Fei Huang, Min Zhang
本文提出了 Adversarial Self-Attention 机制（ASA），利用对抗训练重构 Transformer 的注意力，使模型在被污染的模型结构中得到训练。尝试解决的问题：大量的证据表明，自注意力可以从 allowing bias 中获益，allowing bias 可以将一定程度的先验（如 masking，分布的平滑）加入...
论文地址：https://arxiv.org/abs/2206.12608

用户分享观点：