推荐 品牌 财讯 乐活 母婴 数智 汽车 文娱 滚动
实时
当前位置：商业频道首页 > 头条推荐 > 正文

黄仁勋，拐点出现(20)

2025-03-21 08:20:46 A+A-

所以，你面临着这两种根本性的矛盾。一方面，您希望客户的服务质量尽可能好：快速且智能的AI。另一方面，您正试图让您的数据中心为尽可能多的人生成Token，以便最大化您的收入。

理想的答案位于右上方。理想情况下，该曲线的形状是一个正方形，您可以快速地为每个人生成Token，直到工厂的极限，但没有哪个工厂能够做到这一点。

因此，它可能是一条曲线，而您的目标是最大化曲线下的面积，即X和Y的乘积，并且您推得越远，就越有可能意味着您正在建造一个更好的工厂。

事实证明，在每秒Token数（整个工厂的每秒Token数）与响应时间之间，一个需要大量的计算能力（浮点运算），而另一个维度则需要大量的带宽和浮点运算。所以这是一个非常难以解决的问题。

好的答案是，您应该拥有大量的浮点运算能力、大量的带宽、大量的内存以及其他一切资源。这是开始的最佳答案，这也是为什么这是一台如此出色的计算机的原因。

你首先要拥有尽可能多的浮点运算能力、尽可能大的内存、尽可能高的带宽，当然还要有最好的架构和最高的能效，并且你必须拥有一个编程模型，使你能够在所有这些极其复杂的硬件上运行软件才能做到这一点。

现在让我们来看一个演示，让你对我说的是什么有一个切实的感受。请播放它。

传统的LLM捕捉基础知识，而推理模型则利用思维标记来帮助解决复杂问题。在这里，一个提示要求在婚礼餐桌旁安排座位，同时遵守一些限制条件，例如传统习俗、照片角度以及家族成员之间的矛盾。传统的LLM能够快速地给出答案，使用的标记少于500个。

它在安排宾客座位时犯了错误，而推理模型则使用了超过8000个标记进行思考，最终得出了正确的答案。这需要一位牧师来维持和平。

热点推送

本周关注

MORE
    关于中华网 广告服务 联系我们 招聘信息 版权声明 豁免条款 友情链接 中华网动态
    网上不良信息举报电话：010-56177181执行主编：张蕾
    京ICP备18035944号@版权所有 中华网