GUI Agent正在重新塑造人机交互自动化的新格局。
1.发布背景
2026年初，OpenClaw的出现标志着全球人工智能领域从聊天机器人时代迈向行动代理时代，各大厂商不再局限于开发单一的人工智能代理程序，而是致力于将其打造为AI时代的超级入口。图形界面代理成为了这一转型过程中的重要路径之一。GUI Agent正引领着继“命令行”到“图形用户界面”的第三次人机交互革命，其核心在于通过直接的视觉操作来实现从“人类控制机器”向“机器理解并执行人类意图”的转变。
随着行业探索的不断深入，开发者们逐渐认识到以API为基础的人工智能代理程序存在难以克服的问题。首先，API接口覆盖率低，全球范围内大约只有不到5%的应用软件提供了全面的API接口；其次，在认知层面上缺乏深度交互能力，大多数基于API的代理只能在数据层面进行操作，而忽略了布局、图标等视觉上下文信息的重要性；最后，跨平台协作障碍重重，由于接口壁垒的存在，传统的人工智能代理程序往往局限于单一应用内半自动化的工具角色。这导致了当前绝大多数人工智能代理仍处于“半自动化”状态。
在无法彻底改变现有软件生态系统的前提下，通过图形界面直接完成感知与操作成为绕过API障碍、实现大规模自动化的关键路径之一。GUI Agent是一种基于多模态大模型的技术，能够模拟人类用户的视觉感知和交互行为，跨应用程序进行真正的自动化操作。这一技术的优势在于摆脱了对API接口的依赖，并突破了应用之间的数据壁垒，实现了真正意义上的跨平台协作。
北京庭宇科技有限公司是一家全球领先的边缘智算基础设施服务商，成立于2019年，致力于构建基于边缘计算的核心AI全栈生态系统，为智能时代提供强大的计算力支持。公司运营着国内最大的分布式GPU算力池，并在全国超过1500个县市及东南亚地区建设了高性能边缘节点网络，技术实力和市场占有率均处于行业领先地位。
2024年起，庭宇科技便开始涉足GUI Agent领域，于2025年10月发布了其首款基于边缘智算架构的GUI Agent产品Lybic。这款产品的推出不仅填补了公司在智能操作系统领域的空白，还初步构建起以“边缘云-GUI Agent-云手机/电脑”为核心的产品体系，形成了以边缘智算为基础的AI全栈基础设施生态。Lybic依托庭宇科技的强大技术底座和沙箱环境保障，打造了一套具备毫秒级延时、高安全性和全场景适应性的产品优势。
《跨操作系统GUI智能体基础设施白皮书》由庭宇科技与铸基计划共同发布，详细阐述了GUI Agent的发展现状、技术路径以及未来前景。希望通过该报告推动全球人工智能领域的进步，并通过持续深耕边缘AI基础设施，加速通用人工智能的普及应用。
2.核心亮点
此份白皮书中概述了GUI Agent的概念、面临的挑战、技术架构和核心实现方式、产品形态及应用场景等方面的内容，对未来的发展进行了展望。
- 本白皮书基于庭宇科技在GUI Agent领域的思考与实践，深入剖析了市场格局、技术演进路径以及关键落地场景。希望为全球从业者提供一份可参考的“实施指南”，推动通用人工智能早日惠及各行各业。
- 人工智能的发展将经历算法阶段、模型阶段、智能体阶段以及多智能体生态系统的四个主要阶段。其中，算法阶段重点解决“如何计算”的问题；智能体阶段则标志着大模型不再仅是聊天机器人，而是具备执行任务的能力；而在多智能体生态系统阶段，AI技术将进一步发展为由多个智能体共同协作完成复杂的工程项目。
- GUI Agent正在引领人机交互自动化的革新。自命令行界面、图形用户界面以来，GUI Agent开启了第三次革命性的变革，其核心是从“人类操作机器”转变为“机器理解并执行人类意图”，最终实现消灭应用孤岛的目标，并使操作系统回归为用户的指令执行者角色。
- GUI Agent的驱动因素包括人工智能代理面临的智能化困境和大模型底层技术的进步。在面对智能化难题时，“API覆盖率低导致长尾软件孤立”、“传统RPA维护成本高”以及“跨应用程序和生态系统造成的碎片化工作流程”是主要障碍；而在技术进步方面，视觉语言模型（VLM）的能力飞跃、从"鉴赏"到"操作"的进化以及大规模语言模型实现从直观反应到深思熟虑的变化是推动GUI Agent发展的关键因素。
- GUI Agent主要包括感知模块、决策与规划模块、执行模块和反馈优化模块等核心组件，底层沙盒环境也是其安全可控的重要保障。基于不同的设计逻辑，形成了端到端视觉大模型、代码生成路径及多智能体协作路径三大主流技术路线。本报告详细解析了每个组件的核心内容、面临的挑战和技术解决方案。
- 介绍了GUI Agent可能的产品形态和落地场景，并探讨其未来发展可能性及其面临的问题与挑战。
关注公众号「甲子光年」，后台回复“GUI Agent”，获得高清版完整PDF。或者点击文末“阅读原文”，进入甲子光年官网下载。
3.报告正文
关注公众号「甲子光年」，后台回复“GUI Agent”，获得高清版完整PDF。或者点击文末“阅读原文”，进入甲子光年官网下载。
关注公众号「甲子光年」，后台回复“GUI Agent”，获得高清版完整PDF。或者点击文末“阅读原文”，进入甲子光年官网下载。