推荐 品牌 财讯 乐活 母婴 数智 汽车 文娱 滚动
实时
当前位置：商业频道首页 > 头条推荐 > 正文

黄仁勋，拐点出现(19)

2025-03-21 08:20:46 A+A-

现在，我来向您展示如何解读这张图表，因为我稍后还会多次回到这张图表上来。基本上，它有两个坐标轴。X轴表示每秒Token数。每当您聊天，或者将提示输入到ChatGPT时，输出的结果都是Token。这些Token会被重新组合成文字。

需要注意的是，这不仅仅是一个Token对应一个单词。它们会将诸如“THG”之类的词元化，它可以指代“the”、“them”、“theory”、“theatrics”，以及其他各种词语。“THG”就是一个Token的例子。它们重新构建这些标记，使其转化为单词。

如果希望AI更聪明，就需要生成大量的标记。这些标记是推理标记、一致性检查标记，它们会想出很多主意，以便从中选择最好的主意和标记。这些标记可能会反复推敲，可能会思考：“这是你能做的最好的工作吗？”所以它就像我们自言自语一样，与自身对话。因此，你生成的标记越多，你的AI就越聪明。

但是，如果回答问题花费的时间太长，客户就不会再回来了。这与网页搜索没有什么不同。在它给出聪明答案之前，所需时间确实存在限制。因此，你需要应对这两个维度的挑战。你试图生成大量的标记，但又试图尽可能快地完成。因此，您的Token速率至关重要。所以您希望针对单个用户的每秒Token数尽可能快。

然而，在计算机科学和工厂生产中，延迟响应时间和吞吐量之间存在根本性矛盾。如果你从事大型、高吞吐量的业务，你会进行批量处理。你将大量的客户需求进行批量处理，并生产特定版本的产品供所有人稍后使用。

然而，从他们进行批量处理和生产产品的那一刻起，到您使用它为止，可能需要很长时间。计算机科学领域亦是如此，生成Token的AI工厂也同样如此。

热点推送

本周关注

MORE
    关于中华网 广告服务 联系我们 招聘信息 版权声明 豁免条款 友情链接 中华网动态
    网上不良信息举报电话：010-56177181执行主编：张蕾
    京ICP备18035944号@版权所有 中华网