AI社区

人工智能模型社区 1个主题内容
ChatGPT注册使用 0个主题内容
算力百科 0个主题内容
bug及解决办法 0个主题内容
数据集应用社区 7个主题内容
AI大学 2个主题内容
应用案例：双目作为3D相机，仿照人类双眼感知世界
卷积神经网络（Convolutional Neural Networks）
BP(back propagation)神经网络
SOM 自组织映射神经网络
独立同分布（iid，independently identically distribution）
层次聚类算法
Mean Squared Error 均方误差
致AI开发者的公开信

Messages

改进代码交换NLP的预训练技术

Richeek Das, Sahasra Ranjan , Shreya Pathak 以及 Preethi Jyothi
预训练模型是现代NLP应用中的支柱。预训练需要访问大量未标记的文本。虽然世界上许多语言都很容易获得单语文本，但访问大量代码转换文本（即一句话中穿插着多种语言的标记的文本）的机会要少得多。考虑到这种资源限制，如何改变使用有限数量的代码切换文本的预训练，以提高代码切...
论文地址：https://aclanthology.org/2023.acl-long.66.pdf

用户分享观点：