AI社区

人工智能模型社区 1个主题内容
ChatGPT注册使用 0个主题内容
算力百科 0个主题内容
bug及解决办法 0个主题内容
数据集应用社区 7个主题内容
AI大学 2个主题内容
应用案例：双目作为3D相机，仿照人类双眼感知世界
卷积神经网络（Convolutional Neural Networks）
BP(back propagation)神经网络
SOM 自组织映射神经网络
层次聚类算法
独立同分布（iid，independently identically distribution）
Mean Squared Error 均方误差
致AI开发者的公开信

Messages

CAME：置信度引导的自适应内存高效优化

罗旸，Xiaozhe REN, 郑奘巍，ZHUO JIANG, Xin Jiang 以及尤洋
研究亮点及意义：语言模型的训练中，优化器往往占据了大量的内存使用。随着大语言模型不断增加的参数量，训练时的内存消耗问题更为严峻。我们的工作提出了 CAME 优化器，在减少内存消耗的同时，拥有与 Adam 相同的性能。CAME 优化器基于 Adafactor 优化器改进而来，后者在大规模语...
论文地址：https://arxiv.org/abs/2307.02047

用户分享观点：