台北的Computex 2019上GPU市场领导者NVIDIA宣布推出新的EGX服务器

2019-09-09 15:58:00

本周在台北的Computex 2019上,GPU市场领导者NVIDIA宣布推出新的EGX服务器,这是一款集高性能,低延迟AI为一体的工程系统。EGX的概念类似于NVIDIA的DGX,这是一个专为数据科学团队设计的工程系统(因此DGX,Edge = EGX)。

工程系统的模型是它是一个完整的交钥匙解决方案,提供执行该特定任务所需的所有必要硬件和软件。它实际上是即插即用的AI。

工程系统可加快部署时间

我和DGX的客户交谈时告诉我,DGX的交钥匙工程使他们能够加快部署,调整和调整数据科学所需基础设施的过程,从几周甚至几个月到一天。我希望EGX有一个类似但更大的价值主张。

DGX通常部署在数据科学家和IT专业人员可以访问的地方。EGX专为边缘位置而设计,如5G基站,仓库,工厂车间,油田以及其他没有人可以物理访问服务器的地方。拥有合适的基础设施第一天对成功至关重要

EGX软件针对AI边缘推理进行了优化

NVIDA EGX Edge Stack针对严谨的AI推理进行了优化。模型可以在任何地方进行训练,但它们在EGX上运行以解释数据。软件堆栈包括NVIDIA驱动程序,CUDA Kubernetes插件,CUDA Docker容器运行时环境,CUDA-X库,容器化AI特定框架,如NVIDIA TensorRT,TensorRT推理服务器和DeepStream。EGX是一种参考架构,其中软件堆栈被加载到一个经过认证的服务器合作伙伴身上。

在推出时,以下服务器制造商 - 事实上,所有主要制造商 - 都宣布支持EGX:Acer,ASRack,ASUS,Atos,Cisco Systems,Dell-EMC,Fujitsu,Gigabyte,HPE,浪潮,联想,QCT,曙光,SuperMicro,Tyan和Wiwynn。

Edge微服务器生态系统合作伙伴:Abaco,Adlink,Advantech,AverMedia,Cloudian,ConnectTech,Curtiss-Wright,Leetop,MIIVII.com,Musashi和WiBase。

还有数十个ISV利用EGX来处理特殊用例。这些包括AnyVision,DeepVision,IronYun和Malong。12 Sigma,Infervision,Qunatib和Subtle Medical还提供了许多针对医疗保健的产品。

NVIDIA EGX旨在提供可扩展性,因为客户可以从NVIDIA Jetson Nano GPU开始,每秒执行大约五万亿次操作(TOPS),并且可以扩展到全机架的NVIDIA T4 GPU服务器,执行10,000 TOPS以上。低端适用于图像识别等任务,其中高端用于实时AI任务,如实时语音翻译和识别。

CPU无法满足AI的需求

在所有情况下,EGX都为GPU带来了GPU计算的优势。在最近的一次活动中,我找到了一些来自英特尔的人,我们讨论了边缘人工智能及其面临的挑战。虽然我们都认为边缘是行动的边缘,但英特尔的计划似乎围绕其当前的英特尔至强可扩展CPU和矢量神经网络指令(VNNI)扩展。我非常尊重英特尔,因为该公司率先推出了计算概念; 然而,它相信任何类型的AI,包括边缘AI,可以通过CPU而不是GPU完成,这表明它在该领域是多么无能为力。

我并没有减少CPU或英特尔的价值 - 每台计算机都需要它们 - 但许多公司已经很好地记录了摩尔定律正在快速接近其极限,并且AI的需求远远超出了CPU能够实现的目标。

边缘是动作的位置

EGX满足了边缘计算不断增长的需求。多年来,传统观念认为所有数据都将转移到云端。但是,并非所有数据都在云中进行了最佳分析。智能城市,零售,石油和天然气以及其他用例有助于分析创建数据的位置,而这通常是优势。事实上,对于像机场实时面部识别这样的应用程序,将数据发送到云端所花费的时间,进行分析并将其发送回来的速度太慢,无法在云端完成。这不仅证实了优势,而且提升了价值。在接下来的几年中,AI推理的用例将会爆炸,EGX服务器可确保企业部署优化的硬件和软件。

今天有许多GPU制造商,但是NVIDIA的优势在于能够提供“完整堆栈”以简化部署过程。AI没有“简单的按钮”,但是像NVIDIA的其他工程系统一样,EGX将正确的技术放在需要的地方,因此组织可以担心从数据中获取洞察力而不是关心如何拼凑AI拼图。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。