当前位置:商业频道首页 > 头条推荐 > 正文

黄仁勋,拐点出现(24)

这是能源的工业革命。水流入,电力流出,这着实神奇。水流入,将其点燃,变成蒸汽,随后产生的便是这种无形却极其宝贵的东西。历经八十年发展,才有了交流电,但发电机是这一切的起点,是开端。

因此,我们将这个操作系统,这套软件——极其复杂的软件——命名为英伟达发电机(NVIDIA Dynamo)。它是开源的,我们很高兴有诸多合作伙伴与我们共同开发。

我最喜欢的合作伙伴之一,我非常喜欢他,不仅因为他所做的革命性工作,还因为阿拉文德是一个非常好的人。Perplexity是我们合作攻克这一难题的重要伙伴。总之,非常好,非常好。

现在我们必须等待所有这些基础设施扩展完毕,但与此同时,我们已经进行了一系列非常深入的模拟。我们用超级计算机模拟我们的超级计算机,这很有道理。

现在我将向大家展示我刚才所说的一切的好处。记住工厂示意图。Y轴表示工厂的每秒Token吞吐量,X轴表示用户体验的每秒Token吞吐量。你需要超级智能的AI,并且需要生产大量的AI。

这是Hopper。它可以为每个用户每秒产生大约100个Token。

这使用了八个GPU,通过InfiniBand互联,我将其标准化为每兆瓦每秒的token数量。所以这是一个兆瓦级的数据中心,并非一个非常大型的AI工厂,但无论如何,它是一兆瓦的。它可以为每个用户每秒产生100个token,并且在这个级别上,无论实际情况如何,它可以为该兆瓦级数据中心每秒产生10万个token。或者,如果进行超级批量处理,并且客户愿意等待很长时间,那么该AI工厂每秒可以产生大约250万个token,明白了吗?

记住,两百五十万,ChatGPT的成本大约是每百万个词元10美元,对吧?每百万个词元10美元。

让我们假设一下,我认为每百万个词元10美元的成本可能比较低,但我可能会说它比较低,但让我假设它比较高,因为两百五十万乘以10,那就是每秒2500万美元。这样理解有道理吗?这就是你思考问题的方式。

热点推送

本周关注

MORE