最近，一场以“全栈智能 全域推理：Token爆发元年的全场景大规模推理服务”为主题的研讨会成功召开。该会议作为中关村论坛的重要组成部分，由趋境科技与九源智能计算系统生态联合体共同举办。
商汤大装置首席架构师项铁尧在研讨会上发表了题为《商汤大装置AI原生云基础设施探索与实践》的演讲，详细介绍了商汤大装置如何将软硬件能力转化为高效、易用且客户友好的算力服务，在AI原生时代引领算力集群建设的方向。
项铁尧指出，当算力集群发展步入AI原生阶段时，新的架构模式应当具备统一的标准和强大的弹性伸缩功能，并深入优化用于大模型训练和推理的AI集群运行环境。
在演讲中，他提到Kubernetes作为全球最流行的容器编排平台，正在向AI领域转变。随着动态资源分配（DRA）、工作负载API与网关API三项关键新特性的引入，它从单一的容器管理工具演变为支持AI时代的操作系统，推动整个行业快速迈向AI原生时代。
项铁尧深入分析了底层技术，并介绍了商汤大装置创新性开发的核心产品——AI算力池。该系统面向AI原生时代的独特需求，采用“三明治”水平分层架构，从低层的计算网络存储基础设施到中层的新一代虚拟集群技术，再到高层完整的PaaS产品体系，确保不同平台之间的资源可以自由流动。
AI算力池具有三大优势：
一是面向角色，针对客户内部多样化的角色和复杂的需求提供定制化服务；
二是采用“三明治”结构的水平分层设计，避免了各产品间的孤立问题；
三是资源可以自由流转，用户仅需购买一种通用算力形态即可在不同平台间快速切换。
商汤大装置还创新性地应用虚拟集群技术，解决了传统云托管服务中数据面管理重、扩容慢的问题。与主流云厂商的控制面托管模式相比，这项新技术实现了全量托管，并显著提升了扩缩容效率，同时提供了标准的K8s API接口。
在此基础上，项铁尧提出了AI集群Runtime产品的概念，以应对快速搭建复杂离线混部和混合使用集群的需求。为解决这一难题，商汤大装置通过智能推荐、深度调优以及版本锁定机制，简化了AI基础设施的应用门槛与运维难度。
为了满足超大规模AI生产场景的高性能需求，商汤大装置开发了三大套件：
包括高效调度器SenseCore Scheduler，容错引擎，以及针对不断增长的需求进行优化的Agentic Engine。
商汤还自主研发了虚拟节点技术，该技术具有无缝集成、轻量级使用体验和高效性能等优点，同时提供比runc更好的安全性和隔离度。
在演讲中，项铁尧对九源智能计算系统生态联合体及趋境科技的贡献表示感谢。商汤大装置与趋境科技合作紧密，为其自研的ATaaS高效率AI Token生产服务平台提供了高性能和稳定的算力支持。
趋境ATaaS平台可以满足大规模的AI推理需求，并能实现每日万亿级别的Token产能。
商汤大装置作为九源智能计算系统生态联合体的重要成员，积极参与该组织的“产学研用服”协同合作模式。联合体专注于国产智能计算系统的建设、软件生态统一和技术成果转化，致力于构建自主可控的智能计算产业生态系统。
未来，商汤大装置将继续携手合作伙伴推动推理基础设施的发展，为我国人工智能行业的高质量发展提供强有力的支持。
为了进一步满足超大规模AI生产场景的极致性能需求，商汤大装置还自研了三大套件：
1）SenseCore Scheduler：高性能调度器，支持复杂异构硬件的在离线混合调度。
2）容错引擎：解决超大规模训练中的不稳定性，实现故障自动检测与隔离。
3）Agentic Engine：针对不断涌现的Agent使用需求，进行深入优化，包括沙箱预热、快速启动、规划保持、状态快照等。
04虚拟节点：打通弹性算力最后一环
为了以更灵活的规格为客户提供算力资源，商汤大装置同步自研虚拟节点技术，它具备三大优势：
1）虚拟集群体系无缝集成；
2）提供相比于虚拟机更轻量级的使用体验以及更高效的性能；
3）提供相比于runc更好的安全性和隔离度。
05生态合作，共同助推国产推理基础设施迭代
演讲中，项铁尧还特别感谢九源智能计算系统生态联合体与生态伙伴趋境科技。
目前，商汤大装置已与趋境科技展开深度合作，为趋境科技自研的ATaaS高效能AI Token生产服务平台提供高性能、高可靠的算力支撑。
据了解，趋境ATaaS高效能AI Token生产服务平台可支撑万级别AI推理需求，并达到日均万亿级别Token整体产能。
在生态联盟层面，商汤大装置作为九源智能计算系统生态联合体理事单位，积极参与这一以"产学研用服"协同合作为核心模式的开放生态。
该联合体聚焦国产智能计算系统建设、软件生态统一与技术成果转化，致力于构建自主可控的智能计算产业生态。商汤大装置加入其中，希望以自身在AI基础设施领域的积累，为整个生态贡献实质性力量，推动AI能力真正走向普惠。
未来，商汤大装置将进一步联合生态伙伴，共同推动国产推理基础设施迭代升级，为我国人工智能产业高质量发展、新质生产力落地提供坚实支撑。
转载
本文为量子位获授权转载，观点仅为原作者所有。