AI社区

人工智能模型社区 1个主题内容
ChatGPT注册使用 0个主题内容
算力百科 0个主题内容
bug及解决办法 0个主题内容
数据集应用社区 7个主题内容
AI大学 2个主题内容
应用案例：双目作为3D相机，仿照人类双眼感知世界
卷积神经网络（Convolutional Neural Networks）
BP(back propagation)神经网络
SOM 自组织映射神经网络
独立同分布（iid，independently identically distribution）
层次聚类算法
Mean Squared Error 均方误差
致AI开发者的公开信

Messages

填鸭式学习：一天内在单个GPU上训练语言模型

Jonas Geiping,Tom Goldstein
我们研究了一种基于转换的语言模型如何在仅一天内训练成可扩展语法。除了重新分析该场景的预处理步骤的所有部分之外,我们还调查了为什么缩放固执是困难的,以及哪些改进在这种情况下提高了性能。我们提供了一个与BLEU接近的改进的基线,并讨论了这些改进对有限计算环境下的适用性(或...
论文地址：https://arxiv.org/abs/2212.14034

用户分享观点：