趋境科技近期推出了全球领先的高效能AI Token生产服务平台——ATaaS

人工智能产业正逐步从模型能力的竞争转向大规模应用的竞争。随着应用形态的多样化，包括多智能体协作、长链推理和复合任务执行，Token的需求量显著增加。然而，算力采购、部署和运行过程中的设备和能源成本也在不断上升，导致了算力投入与实际Token产出之间存在明显的不匹配问题。提高Token推理效率的系统优化已经成为推动产业持续发展的关键。

面对这一挑战，趋境科技作为全球领先的高效能AI Token生产服务提供商，最近发布了新一代AI推理平台——趋境ATaaS高效能AI Token生产服务平台。该平台旨在解决高额硬件投入难以转化为优质Token产能，以及资源浪费和成本空耗的行业难题。

为了应对当前行业的关键难题，趋境ATaaS平台利用四大自主研发的核心技术模块，构建了覆盖异构整合、智能调度和弹性扩容的全链路能力。平台将算力和能源封装为分层、面向具体应用场景的高效能Token服务，为国产算力的提升、异构算力孤岛的破解，以及规模化降本增效，提供了具有代表性的中国解决方案。

当前行业面临的四大问题：高额硬件投入并不等于高效的Token产出

1. 硬件负载不均衡：依赖于GPU，CPU、内存等资源利用率低

在传统的Token生成链路中，过度依赖于GPU，而CPU、大容量内存、集群SSD及IB高速互联等昂贵资源的利用率不足10%，整个系统的硬件资源利用率不足20%，这导致智能计算集群的规模化成本巨大。

2. 软硬件迭代不协调：硬件更新快速，但配套软件生态滞后

尽管硬件标称算力持续提升，但在通信、访存和算子融合等方面，软件层的优化仍显不足，分布式并行策略的稳定性在复杂组合下有限，超过80%的理论算力无法被有效利用。

3. 算力配置不精准：缺乏针对业务需求的精细化调度

当前集群算力配置难以根据不同推理业务对时延、吞吐和稳定性的差异化需求，精准匹配CPU、GPU、内存等异构资源。统一部署和粗放配额依然常见，导致超过50%的算力资源被浪费。

4. 架构演进不平衡：开源模块丰富，但集成难度大

开源生态为大模型推理提供了丰富的模块，但在大规模集群场景下，仅靠组件拼接难以解决系统级协同问题。原生架构对KV Cache、序列长度等关键参数感知不足，导致负载失衡，通信阻塞和服务波动等因素叠加，系统扩展后性能下降且运维复杂度增加，无法支持大规模高效Token生产。

趋境ATaaS，四大核心技术破解产业瓶颈，重塑Token生产效能曲线

趋境科技通过重构算力、电力与Token产量之间的效能曲线，提供高效能Token服务。ATaaS不仅仅是一个资源供给平台，更是效能放大器——用软件技术大幅提升Token产能。

六合：异构推理2.0｜全球首创大模型计算逻辑重构技术

深度整合CPU+GPU、国产与非国产算力异构PD分离等技术，重构模型计算逻辑，并基于算子与任务特征进行智能分流：CPU处理低计算密度任务，国产算力卡处理高密度Prefill，大显存显卡处理高访存Decode。万卡级智能计算集群整体运营成本降低20%以上。

月饼：以存换算2.0｜全球首创超大量KV Cache缓存技术

通过架构重构，将原本依赖昂贵显存承载的KV Cache存储空间扩展百倍至千倍，形成近乎无限的缓存池资源，缓存命中率最高可达90%，直接削减90%的GPU算力开销。

双仪：虚实同构｜全球首创算子级SLO仿真

基于算子级精细仿真，推演大模型Token生成全链路的吞吐、时延与访存表现，实现算力资源的智能预规划与动态调优；针对业务SLO分级需求，精准切分异构算力配额并隔离资源优先级，可将万卡级智能计算集群硬件综合资源利用率提升数倍。

万象：极致弹性｜打通规模化量产最后一道障碍

通过系统化工程能力，实现万亿参数大模型7秒快速启动与动态配置变更、数百节点超大规模EP弹性调度，以及智能容灾重构和负载均衡，形成平台原生支持万卡级高性能横向扩展的关键能力。在初期落地阶段，便推动某在线公司的AI业务实现了千卡集群吞吐量翻倍。

从“数据中心”到“Token工厂”

“趋境ATaaS：高效能AI Token生产服务平台”的发布，标志着AI基础设施发展的重点进一步转向对Token生产效率的综合衡量，包括Token响应延时（TTFT）、Token吞吐（TPS）以及资源利用效率等关键指标。

这一理念与当前行业的共识一致，当黄仁勋宣布NVIDIA的1万亿美元需求预测，当Token“供不应求”成为常态，算力基础设施正从“数据中心”演进为“Token工厂”。

作为高效能AI Token生产服务提供商，趋境科技通过长期的团队积累和推理优化能力，推出趋境ATaaS平台的意义不仅在于拓展了推理基础设施的技术边界，更在于为AI基础设施的建设和运营提供了新的思路和行业标准：通过提升算力调度效率、优化推理过程、增强资源协同能力，使得每单位算力和能耗投入能够数倍转化为更稳定、更可衡量的Token价值产出。

转载

本文为量子位获授权转载，观点仅为原作者所有。