增量学习和持续学习(Continual Learning)、终身学习(Lifelong Learning)的概念大致是等价的，它们都是在连续的数据流中训练模型，随着时间的推移，更多的数据逐渐可用，同时旧数据可能由于存储限制或隐私保护等原因而逐渐不可用，并且学习任务的类型和数量没有预定义(例如分类任务中的类别数)。

但增量学习目前还没有一个特别清晰的定义，因此比较容易与在线学习，迁移学习和多任务学习等概念混淆，「尤其要注意增量学习和在线学习的区别，在线学习通常要求每个样本只能使用一次，且数据全都来自于同一个任务，而增量学习是多任务的，但它允许在进入下一个任务之前多次处理当前任务的数据」。上图表现了增量学习和其他学习范式的区别，一般来说，增量学习有如下几个特点：

• 学习新知识的同时能够保留以前学习到的大部分知识，也就是模型在旧任务和新任务上均能表现良好。

• 计算能力与内存应该随着类别数的增加固定或者缓慢增长，最理想的情况是一旦完成某一任务的学习，该任务的观测样本便被全部丢弃。

• 模型可以从新任务和新数据中持续学习新知识，当新任务在不同时间出现，它都是可训练的。

由于增量学习问题的复杂性和挑战的多样性，人们通常只讨论特定设置下的增量学习。以一个图像分类模型为例，我们希望模型具有增量学习新的图像和新的类别的能力，但前者更多地与迁移学习有关，因此任务增量学习(Task-incremental Learning)和难度更高一点的类增量学习(Class-incremental Learning)是深度学习社区当前主要考虑的增量学习范式。