当前位置:资讯 > 热点资讯 > 正文

AI服务如何按需取用?探访24小时运转“词元工厂”

词元,也就是token,是人工智能大模型处理信息的最小单元。国家数据局29日表示,当前,大模型加速向千行百业深度落地,带动我国词元调用量快速攀升,市场需求呈现爆发式增长,实践中已演化出不同类型的词元工厂形态。

新的词元工厂,到底有何不同?又是如何运行的?

记者探访24小时运转的“词元工厂”

在北京这个新落成的“词元工厂”里,上万平方米的机房是车间,消耗的原料是电力,源源不断生产出的产品就是词元。

AI服务如何按需取用?探访24小时运转“词元工厂”

“词元工厂”总负责人颜敏:我们把几十种国产大模型部署到我们的国产算力上,给大家提供AI服务。大家可以向AI提问,我们的算力就开始生产词元,给大家相应的答案和任务结果。

工作人员告诉记者,和一般的工厂不同,“词元工厂”没有库存管理,用户请求到达的瞬间,词元生产就立刻启动。因此,“词元工厂”也是24小时运转的工厂。

AI服务如何按需取用?探访24小时运转“词元工厂”

“词元工厂”运营负责人朱璐璐:从我们24小时的产量变化可以看到,白天词元的调用量处于一个比较高的水平,大家一般上午进行方案的设计和讨论,下午会利用智能体进行代码的生成和迭代。这个时候,整个词元的消耗量会有一个非常明显的攀升,每个小时最高峰能够有超过10亿词元的产出。

记者在采访时发现,还有一个词元消耗波峰,竟然出现在凌晨0时到4时之间。这又是为什么呢?

AI服务如何按需取用?探访24小时运转“词元工厂”

“词元工厂”运营负责人朱璐璐:一类是互联网平台的智能客服,夜间他们通常会利用AI去回应客户的一些咨询、问题;还有一类是夜间的自动化作业,比如一些软件的测试,一些数据的批量加工。最近,还有一类业务起得特别快,就是AI漫剧,很多的漫剧在夜间被大量地生成、渲染、导出。

推荐阅读

24小时热点