搜索: "智能体安全"

共找到 5 篇相关文章

同事.skill之后:谁在真正“蒸馏”打工人?

同事.skill之后:谁在真正“蒸馏”打工人?

GitHub 上有一个 4 小时写出来的项目,叫 colleague-skill。3 天涨到 6,700 颗星,3 周突破 1.4 万。中文世界把它叫作"同事.skill",把它做的事叫作"炼化"、"蒸馏"。这一下点燃了国内最近最大的 AI 工作替代焦虑,“反蒸馏”也随之成为热词。项目作者周天奕,24 岁,上海人工智能实验室工程师。按他对澎湃科技的说法,这是团队在做“智能体安全”研究时,顺手花 4

科技2 阅读
智能体应用发展,要遵循四大原则!

智能体应用发展,要遵循四大原则!

据中国网信网消息,国家网信办、国家发展改革委、工业和信息化部近日联合印发《智能体规范应用与创新发展实施意见》(简称《实施意见》)。其中提到要研究智能体数据安全、个人信息保护、密码防护、攻击检测、权限管理、行为控制等安全技术,提升智能体系统安全保障能力,防范数据投毒、隐私泄露、算法篡改、系统漏洞、运行失控等安全风险,探索建立智能体安全评估体系。智能体带来隐私泄露等安全风险智能体是具备自主感知、记忆、

科技2 阅读
智能化进程中的三大风险:基于自主演化的智能体安全挑战

智能化进程中的三大风险:基于自主演化的智能体安全挑战

新智元报道当人工智能从被动预测的工具转变为主动决策的实体时,其面临的安全挑战也在经历一场前所未有的变化。在医疗诊断、金融交易和工业控制等高风险领域部署AI系统后,安全问题已经不再是事后修补的问题,而是决定系统能否顺利运行的关键因素之一。目前针对智能体安全性研究的现状存在结构性缺陷:现有的调研往往只关注数据处理到模型训练再到实际应用这一静态过程中的某个环节,或者是将安全、隐私和鲁棒性等特性孤立开来考

科技8 阅读
OpenAI火速购入小型团队应对龙虾危机

OpenAI火速购入小型团队应对龙虾危机

近期,OpenAI动作频繁—— 刚刚挖来了龙虾之父,紧接着又迅速收购了一家初创公司。 收购的目标是一家专注于智能体安全问题的创业企业。 据公告披露,此次被收购的是Promptfoo,一家致力于AI安全与评估的年轻公司。 Promptfoo在开源社区中的影响力不容小觑—— 它开发的Promptfoo评测框架是行业内最受欢迎的开源工具之一,已有超过30万名开发者用户,并且在GitHub上获得了1

AI1 阅读