NVIDIA的软件库最新版本带来了显着的性能改进，NVIDIA表示可以启用对话式AI。但是，英特尔也通过收购Habana Labs来提高自己的游戏水平，Habana Labs是一家AI芯片初创公司，有望在硬件水平上实现最佳性能。
昨天，NVIDIA在GTC中国发布了一系列公告。有些与当地合作伙伴及相关成就有关，例如为阿里巴巴和百度等公司提供动力。如此规模的合作伙伴注定会产生可观的数量并取得领先。公告的另一部分与新硬件有关。 NVIDIA推出了Orin，这是一款专为自动驾驶汽车和机器人设计的新型片上系统（SoC），以及一个由SoC支持的新软件定义平台，称为Nvidia Drive AGX Orin。这标志着NVIDIA在特定领域应用程序方面的兴趣和进步，以及建立生态系统的尝试。但是就AI芯片的整体情况而言，该公告中最有趣的部分可能是
实际上是软件：全新的NVIDIA TensorRT 7。TensorRT是推理软件开发人员可以使用经过训练的深度学习模型来交付应用程序。
使用TensorRT 7进行深度学习推理
在机器学习（深度学习是其中的一个分支）中，开发应用程序包含两个关键部分。第一部分是根据现有数据训练模型，这相当于在传统应用程序开发中开发软件。第二部分是使用模型来处理新数据，也称为推理，这等同于部署软件。
TensorRT在推理部分工作。换句话说：仅保留以前训练有素的模型，而使用TensorRT 7推断在NVIDIA GPU上部署的模型，则可以期望性能得到提高。
NVIDIA选择强调对话式AI应用程序，并提到推理延迟迄今为止如何阻碍了真正的交互式互动。NVIDIA的新闻稿指出，与在CPU上运行时相比，TensorRT 7将对话式AI的组件速度提高了10倍以上，从而将延迟降低到了实时交互所需的300毫秒阈值以下。
没有提到新TensorRT与先前版本相比的性能提升，或者与其他推理选项相比。我们推测NVIDIA选择强调对话式AI的原因有两个。首先，这是一个令人着迷的应用程序。其次，TensorRT 7的增强似乎与此相关。
在定性功能方面，NVIDIA注意到TensorRT 7具有新的深度学习编译器，该编译器旨在自动优化和加速AI语音应用程序所需的日益复杂的基于循环和基于变压器的神经网络。这样的模型，例如Google的BERT，是自然语言处理（NLP）领域的最新技术。请注意，TensorRT 7紧随 NVIDIA之前在BERT培训方面的工作之后。
在讨论由NVIDIA支持的此类模型的用例时，其发言人以Microsoft为例。微软的Bing搜索引擎使用在NVIDIA GPU上运行的基于BERT的模型来处理查询。这使Bing能够实时交付相关结果-与以前的实施相比，速度提高了800倍。
Habana Labs Goya的深度学习推理
就在几天前，英特尔在这一领域也期待已久。 英特尔宣布收购以色列AI芯片初创公司Habana Labs。英特尔已经将注意力集中在CPU上已有一段时间了，而其他芯片架构（例如GPU）在机器学习工作负载方面的出色性能对其未来的市场份额构成了威胁。
随着这些类型的工作负载在数据中心中获得越来越多的份额，英特尔面临着越来越多的数据中心所有者选择将这些工作负载转移到GPU（例如阿里巴巴和百度）。最近，英特尔一直在积极进行一轮AI芯片供应商收购：2015年收购Altera，2016年收购Nervana，2019年收购Vertex.ai。
但是，我们认为Habana Labs是英特尔最重要的收购。不仅是因为财务条款（收购成本为20亿美元），还主要是因为Habana Labs似乎有能力采用NVIDIA的GPU。
与NVIDIA相反，Habana Labs开发了用于训练和推理的单独处理器系列，分别称为Gaudi和Goya。目前，Gaudi已由特定的超大规模客户进行采样，并有望在大型节点训练系统中将吞吐量提高4倍。Goya已有一段时间了。
开发用于培训和推理的自定义体系结构是Habana Labs的关键前提之一。根据Habana Labs在2018年12月提供的第三方基准测试，高迪显然明显胜过CPU和GPU。这提出了几个有趣的问题。
第一个问题是TensorRT 7是否会发生变化，而简短的答案是我们不知道。Habana Labs不仅在一年前发布了基准测试，而且还提到了不同的工作负载。这些基准测试是在图像识别任务（ResNet-50）上执行的，而TensorRT 7似乎已针对NLP工作负载进行了调整。
第二个问题是，即使在这些工作负载上，Gaudi的确比NVIDIA的GPU快得多，客户是否也会转而使用它？答案仍然是我们不知道，但是即使他们知道，也可能不会很快。除了英特尔必须完成收购流程外，人工智能芯片的销售周期不像软件那么短。
此外，正如我们过去指出的那样，NVIDIA的优势不仅在于硬件。NVIDIA还创建了一个生态系统和软件产品，以简化其GPU的使用。TensorRT 7展示了这一点。Habana Labs也拥有自己的软件堆栈，但与NVIDIA相比，它的成熟度较低，占用空间较小。
无论如何，看来英特尔现在也将成为AI工作负载的竞争者。这将在何时何地体现出来还有待观察
