← 返回首页

模型发布

Ember-1:更省Token的推理模型

本文使用星期天AI中转站大模型,基于 Hacker News 内容自动生成。

Ember-1如何减少推理令牌

Ember-1是Fireworks Research推出的专用模型,基于Kimi K3训练。Fireworks称,它学习保留有用的反思和规划,同时压缩冗余推理,在相近回答质量下平均减少约40%的令牌;这对多轮编码代理尤其重要,因为早期推理内容会在后续调用中反复进入上下文并产生费用。

Ember-1的训练与测试结果

官方介绍称,团队进行了50多次训练实验和200多次评估,并覆盖数学、编码、工具使用、搜索与软件工程等任务。其公开测试中,Ember-1在多个行业基准上接近或达到Kimi K3最高推理设置的质量,同时成本更低;在SWE-bench Verified上,Ember-1得分为92.2%,K3最高设置为93.2%。

Fireworks还报告了两家客户生产编码流量的A/B测试:每项任务的令牌数约减少35%,而任务完成、成功分数和失败率等下游指标大体持平或改善。公司内部开发者也据称没有明显察觉模型切换。不过,这些结果主要来自Fireworks自己的评估和有限的客户测试,不能直接等同于所有工作负载都能获得相同收益。

研究预览带来的开放问题

Ember-1目前以Serverless研究预览形式与基础版Kimi K3并列提供,后续是否长期保留取决于社区需求。它的核心价值不是简单调低推理强度,而是让模型学会更有效地思考;但更短的推理轨迹是否会在长链代理、罕见错误和不同领域任务中稳定保持质量,仍需要更广泛的独立测试。