
大模型也需要睡觉!让AI打个盹,醒来更聪明
7×24,AI也吃不消。卡内基梅隆大学和马里兰大学发了篇论文,《Language Models Need Sleep》——大模型处理长上下文的时候,硬撑着不休息,真的会累傻。这项研究的灵感源自人脑运作机制。人睡觉的时候海马体会把白天的短期记忆一遍遍回放,巩固进皮层突触,变成长期知识。研究团队认为模型也可以这样,设计了一个睡眠机制,让大模型上下文窗口快满的时候别硬撑了,打个盹把最近的上下文反复咀嚼几
科技2 阅读
共找到 1 篇相关文章

7×24,AI也吃不消。卡内基梅隆大学和马里兰大学发了篇论文,《Language Models Need Sleep》——大模型处理长上下文的时候,硬撑着不休息,真的会累傻。这项研究的灵感源自人脑运作机制。人睡觉的时候海马体会把白天的短期记忆一遍遍回放,巩固进皮层突触,变成长期知识。研究团队认为模型也可以这样,设计了一个睡眠机制,让大模型上下文窗口快满的时候别硬撑了,打个盹把最近的上下文反复咀嚼几