
SSA架构问世:13人团队挑战Transformer,计算成本降至Opus的5%,效能提升千倍
新智元报道Transformer的主导地位或许即将被撼动!一个名为SubQ的新模型带着SAA架构闪亮登场,成本仅为Opus的五分之一。今天,一款革新性的AI模型SubQ问世,引起了全球的关注。SubQ是世界上首个完全亚二次方稀疏注意力(SSA)架构的模型,具备1200万Token的上下文处理能力。它的核心特点是动态地选择关注点,大大减少了不必要的计算量。与传统的Transformer相比,SubQ
科技1 阅读
