当前位置:商业频道首页 > 头条推荐 > 正文

黄仁勋,拐点出现(26)

这就是在查看这两个方块下方时呈现的样子。Blackwell的性能远优于Hopper。请记住,这并非指ISO芯片。而是指ISO功率。

这是最终的摩尔定律,始终是过去摩尔定律的核心所在。现在我们实现了这一目标,在单代产品中实现了25倍的ISO功率提升。这不是ISO芯片,也不是ISO晶体管,更不是任何ISO相关的组件。ISO功耗,是最终的限制因素。数据中心所能获得的能量是有限的。因此,在ISO功耗限制下,Blackwell方案的效率提升了25倍。

现在我们看到了这张彩虹图,令人难以置信。这才是有趣的部分。看,在帕累托前沿之下,有各种不同的配置方案,我们称之为帕累托前沿。在帕累托前沿之下,存在数百万种我们本可以用来配置数据中心的方法。

我们本可以以许多不同的方式将工作并行化、分割和分片。而我们找到了最优解,也就是帕累托前沿。好的,帕累托边界。而且,由于颜色不同,每一个点都代表着不同的配置。这张图像非常清晰地说明了为什么我们需要一个可编程架构,使其尽可能地具有同质可替代性。因为工作负载在整个边界上变化非常剧烈。

看,在顶部,我们有专家并行8,批次大小为3000,去聚集关闭,Dynamo关闭。在中间,专家并行64,其中26%用于上下文,因此Dynamo开启,上下文占用26%,其余74%未使用。批次大小为64,一个使用专家并行64,另一个使用专家并行4。然后在底部,我们有张量并行16与专家并行4,批次大小为2,上下文占用1%。计算机的配置在整个范围内都在发生变化。

然后,就会发生这种情况。这是一个输入序列长度的例子,它是一种比较通用的测试用例。这是一种您可以相对轻松地进行基准测试的测试用例。输入为1000个标记,输出为2000个。

请注意,我们之前向您展示了一个演示,其中输出非常简单,为9000,对吧,8000。所以很明显,这并不能仅代表那一次对话。而这一次更具有代表性。这就是目标所在,即构建面向下一代工作负载的下一代计算机。

热点推送

本周关注

MORE