大规模多模态预训练模型的综合研究

Xiao Wang,Guangyao Chen,Guangwu Qian,Pengcheng Gao,Xiao-Yong Wei,Yaowei Wang,Yonghong Tian,Wen Gao
在本文中,我们首先概述了传统的深层训练、自然语言处理、计算机视觉和语音等领域的基本背景。然后,我们介绍了大型模型的任务定义、关键挑战和优点,并讨论了这类模型在数据、目标、网络架构和知识增强早期培训方面的实验结果。最后,我们指出此次的研究方向会有助于未来的工作。...

用户分享观点: