改进代码交换NLP的预训练技术

Richeek Das, Sahasra Ranjan , Shreya Pathak 以及 Preethi Jyothi
预训练模型是现代NLP应用中的支柱。预训练需要访问大量未标记的文本。虽然世界上许多语言都很容易获得单语文本,但访问大量代码转换文本(即一句话中穿插着多种语言的标记的文本)的机会要少得多。考虑到这种资源限制,如何改变使用有限数量的代码切换文本的预训练,以提高代码切...

用户分享观点: