共找到 9 篇相关文章
新智元报道【新智元导读】ICLR论文STEM架构率先提出「查表式记忆」架构，早于DeepSeek Engram三个月。它将Transformer的FFN从动态计算改为静态查表，用token索引的embedding表直接读取记忆，彻底解耦记忆容量与计算开销。近年来，随着大模型规模与知识密度的持续爆发，研究人员开始重新审视一个底层问题：模型的参数究竟该如何组织，才能最高效地承担「记忆」的功能？在传统的
新智元报道刚刚，一项令人震撼的研究成果震惊了整个AI社区。一位来自麻省理工学院的博士，成功地在Transformer架构中构建了一个计算机模型。这一突破性进展，彻底打破了人们对大模型能力的原有认知。此前，LLM在执行基本计算任务上一直存在明显短板，例如无法准确比较9.11和9.9哪个更大。然而，这位博士巧妙地将WebAssembly解释器嵌入到了Transformer模型的权重中，实现了无损编码。
最近，一篇名为《Attention Residuals》的论文让Kimi成为了全球人工智能界的焦点。作者之一是一名仅17岁的高中生。xAI首席执行官埃隆·马斯克和Google的Shubham Saboo也分别对此表示祝贺，后者更是指出，Kimi触及了长达十年无人问津的Transformer架构领域。这项成果迅速在舆论界引起了巨大反响，诸如“打破Transformer架构”、“硅谷震动”、“行业规则
新智元报道一位业界领袖最近在接受采访时大胆预测，一种能够完全取代Transformer的新一代AI架构即将问世。这一言论引发了广泛关注，尤其是考虑到Transformer当前的主导地位。这位领袖不仅见证了Transformer架构的辉煌，还亲手推动了它的发展，并且现在正展望其即将被替代的未来。最近，Sam Altman回到他的母校斯坦福大学，面对着一群年轻的学生们，提出了一个惊人的观点——未来的A
近日，面对 OpenClaw（龙虾）潜在的用户数据和资金安全风险，Transformer 八子之一 Illia Polosukhin 采取了行动。在 Reddit 平台上，他发布了一篇帖子，分享了自己使用 Rust 编程语言构建 IronClaw 安全版本的心得体会，引发了广泛讨论。下面是该帖的全部内容：当 OpenClaw 首次亮相时，我感到异常兴奋。这似乎是我期盼已久的科技革新。在准备编程竞赛
多模态大模型的研发方式正在经历全面革新。 今天，商汤科技与南洋理工大学共同发布了最新技术成果NEO-unify。 这是一个实现了“原生、统一、端到端”的多模态架构，其最突出的创新在于： 彻底摒弃了传统的视觉编码器（VE）和变分自编码器（VAE）。不再依赖组件拼凑来完成感知与生成任务，而是直接以近乎无损的形式处理像素和文字。 通过独特的混合变换器（Mixture-of-Transformer, Mo
在互联网上，龙虾的隐私问题引发了广泛关注。 人工智能实体泄露了用户的密码和API密钥。 Transformer架构的主要贡献者Illia Polosukhin决定采取行动，从头开始构建IronClaw这一安全版本的替代品。 功能 OpenClaw IronClaw 核心语言 TypeScript Rust 凭证处理 直接暴露
在多模态内容的理解和生成领域，统一的多模型已经显示出显著的效果，但这些成果主要集中在图像处理上。近日，滑铁卢大学与快手可灵团队共同研发出了一种名为 UniVideo 的创新性系统。该系统能够在单一框架下执行视频理解、创建及编辑任务，并且基于一个多模态生成模型构建而成。UniVideo 采用双通道结构设计，将大规模多模态语言模型（MLLM）的指令理解和推理能力与多模态扩散 Transformer（M
当前，基于预训练视觉表征构建世界模型已成为具身智能领域的一项重要研究方向。例如，DINO-WM 等先进成果表明，利用视觉 Transformer (ViT) 架构可以准确捕捉复杂的物理动态，并具备强大的零样本规划能力。然而，该方法在处理所有图像块时采用密集计算的方式，导致大量资源被浪费在静态背景上，从而造成了高昂的计算成本和决策速度减缓的问题。特别是在处理如 Push-T 等典型操作任务时，最先进