AI社区

人工智能模型社区 1个主题内容
ChatGPT注册使用 0个主题内容
算力百科 0个主题内容
bug及解决办法 0个主题内容
数据集应用社区 7个主题内容
AI大学 2个主题内容
应用案例：双目作为3D相机，仿照人类双眼感知世界
卷积神经网络（Convolutional Neural Networks）
BP(back propagation)神经网络
SOM 自组织映射神经网络
独立同分布（iid，independently identically distribution）
层次聚类算法
Mean Squared Error 均方误差
致AI开发者的公开信

Messages

SWARM Parallelism: 大型模型训练的去中心化并行算法

Max Ryabinin,Tim Dettmers,Michael Diskin,Alexander Borzunov
在本文中，我们考虑了训练大型模型的替代设置：使用廉价的预处理实例或从多个地区挖掘现有资源。我们在这些条件下分析了现有模型平行算法的性能，并找到了这些条件下的训练大模型的局面。基于这些发现，我们提出了斯瓦尔姆平行性，这是一个设计用于不连接、异构和无可信的设备的模...
论文地址：https://arxiv.org/abs/2301.11913

用户分享观点：