图灵汇官网

英伟达最近发布了一款名为Dynamo的产品，称其为“AI工厂的操作系统”。Dynamo本质上是一个分布式推理服务库，致力于解决用户需要更多token但现有资源不足的问题，提供了开源的解决办法。

在一次演示中，黄仁勋展示了与推理相关的数据图，横轴代表每秒处理的Token数量，纵轴显示的是工厂每秒的Token处理量。依靠Dynamo和Grace Blackwell NVLink72超级芯片的帮助，Blackwell的性能比Hopper提高了25倍。

另外，在实际应用中，Blackwell在推理模型上的表现甚至达到了Hopper的40倍。黄仁勋打趣道，有了这些技术，投资建设AI工厂的企业会意识到，“投入越大，节省的成本越多”。这显然是在鼓励相关企业增加投入。