为了让初学者了解AI，以下列出六个值得注意的AI领域，并描述它们是什么、为什么它们是重要的、它们今天如何使用，以及研究它们的公司。

在过去10年中，AI领域取得了很大的进步，随着巨头接连不断地借媒体阐明他们长期看重AI的策略，很多人已经对语音识别和自动驾驶如数家珍。不过仍常有人将AI与机器学习混淆，其实AI是一个多学科构成的领域，最终目标是建立能够执行任务和认知功能的机器，为了到达这一目标，机器必须能够自主学习这些能力。

为了让初学者了解AI，以下列出六个值得注意的AI领域，并描述它们是什么、为什么它们是重要的、它们今天如何使用，以及研究它们的公司。

1.强化学习（ Reinforcement learning）

RL是一种通过试探而学习的范式，受人类学习新任务的启发。在典型的RL设置中，AI被赋予在数字环境中观察其当前状态的任务，从环境接收每个动作的结果并给予激励反馈，使得其知道动作是否促进或阻碍其进展。因此，AI必须找到最佳的获得奖励策略。谷歌旗下的DeepMind便使用了这种方法。在现实世界中，RL的一个例子是优化冷却Google数据中心能效的任务，一个RL系统实现了减少40％的冷却成本。在可以模拟的环境（例如视频游戏）中使用RL的优点是，训练数据可以以非常低的成本生成。这与监督深度学习任务形成鲜明对比，这些任务通常需要昂贵且难以从现实世界获取的训练数据。

应用范围：多个AI在自己的环境中学习或互动，在相同的环境中互相学习，学习导航的3D环境，如迷宫或城市街道的自动驾驶，逆强化学习来概括观察到的行为通过学习任务的目标（例如学习驾驶）。

公司：谷歌DeepMind，Prowler.io，Osaro，MicroPSI，Maluuba /微软，NVIDIA，Mobileye。

2.生成模型

与用于分类或回归任务的判别模型相反，生成模型在训练示例上学习概率分布。通过从这种高维分布中抽样，生成模型输出与训练数据类似的新示例。这意味着，例如，在面部的真实图像上训练的生成模型可以输出类似面部的新的合成图像。有关这些模型是如何工作的，可以参照伊恩·古德费洛的真棒NIPS 2016教程。他介绍了该体系结构，生成对抗网络（GANs），提供了对无监督的学习路径。GANs有两个神经网络：一个发生器，它接受随机噪声作为输入，其任务是合成的内容（例如，图像）；一个鉴别器，它已经学会真实图像长什么样，任务是识别图像是真的还是假的。对抗训练可以被认为是一种游戏，机器必须迭代地学习如何使鉴别器不再能够区分所生成的图像和真实图像。这个框架正在扩展到许多数据模式和任务。

应用范围：模拟一个时间序列的可能的未来（如在强化学习计划任务）; 超分辨率图像 ; 将2D图像恢复成三维结构 ; 从小标签数据集中进行归纳; 一个输入可以产生多个正确的输出（如预测视频的下一帧 ;创建用在会话接口的自然语言; 当不是所有的标签都可以半监督学习时; 艺术风格转移 ; 合成音乐，声音 。

公司：Twitter，Adobe，苹果，Prisma，Jukedeck，Creative.ai，Gluru，Mapillary，Unbabel。

3.具有记忆存储的网络

为了使AI系统在多样化的现实世界环境中推广，他们必须能够不断地学习新的任务，并记住如何在未来执行所有的任务。然而，传统的神经网络通常不能进行这样的学习，这个缺点被称为灾难性的遗忘。其发生是因为当网络被训练以解决任务B时，网络中对于解决任务A的权重会发生改变。

然而，有几个强大的架构，可以赋予神经网络不同程度的记忆，包括长短期记忆网络（一个经常性的神经网络的变体），它能够处理和预测时间序列。DeepMind的微神经计算机，结合神经网络和存储系统，便能学习和浏览自己的复杂数据结构。

应用范围：可推广到新的环境中学习; 机器人臂控制任务; 自动驾驶; 时间序列预测（例如金融市场，视频，物联网）; 自然语言理解和下一词预测。

公司：谷歌DeepMind，NNaisense，SwiftKey /微软研究院，Facebook的AI研究。

4.用更少的数据学习和建立更小的模型

深度学习模型值得注意的是需要大量的训练数据。如果没有大规模的训练数据，深度学习模型将不会收敛到它们的最佳设置，并且在诸如语音识别或机器翻译的复杂任务上效果不佳。这种数据要求仅在使用单个神经网络来端到端地解决问题时增长，比如将语音的原始音频记录作为输入并输出语音的文本转录。

如果我们希望AI解决训练数据少、贵、耗时的问题，那么开发可以从较少的示例（即一个或零开始的学习）学习最优解决方案的模型。当对小数据集进行培训时，挑战包括过度拟合，处理异常值的困难，训练和测试之间的数据分布的差异。另一种方法是迁移学习。

应用范围：通过学习培训浅网络模仿深层网络的性能，最初接受大型标记的训练数据; 用较少的参数，但同等性能深模型架构（如SqueezeNet）; 机器翻译。

公司：Geometric Intelligence/Uber，DeepScale.ai，微软研究院，谷歌，Bloomsbury AI。

5.用于训练的硬件

AI进步的主要催化剂是图形处理单元（GPU）的重用以训练大神经网络模型。不同于以顺序方式计算的中央处理单元（CPU），GPU提供一个大规模并行架构，可以同时处理多个任务。考虑到神经网络必须处理大量（通常是高维数据），在GPU上的训练比CPU快得多。这就是为什么NVIDIA能在近年大热。

然而，GPU不是专门用于训练AI的，它们的出现是为了渲染视频和游戏图形。GPU具有的高计算精度并非必要，并且存在存储器带宽和数据吞吐量问题。这为创业公司带来了机会——创造专门为高维机器学习应用设计的芯片。通过新的芯片改善更大的内存带宽，具有更高的计算密度，效率和每瓦性能。借此实现：更快、更有效的模型训练→更好的用户体验→用户与产品快速迭代→创建更大的数据集→通过优化提高模型的性能。

应用范围：快速训练模型（尤其是在图形上）; 做预测时提高能量和数据效率; 运行AI系统的IoT设备; IaaS;自动驾驶，无人机和机器人。

公司：Graphcore，Cerebras，Isocline Engineering，谷歌（TPU），NVIDIA（DGX-1），Nervana系统（英特尔），Movidius（英特尔），Scortex

6.仿真环境

如前所述，为AI系统生成训练数据通常是具有挑战性的。更重要的是，AI必须推广到许多情况下才能在现实世界中有用。因此，开发模拟现实世界的物理和行为，将为我们提供训练AI的良好环境。这些环境将原始像素呈现给AI，然后AI执行动作以便解决他们已经设置（或学习）的目标。在训练中，这些仿真环境可以帮助我们理解的AI系统如何学习，如何提高他们，但也为我们提供了模型，可以潜在地转移到现实世界的应用。

应用范围：学习驾驶 ; 制造业; 工业设计; 游戏开发; 智能城市。