搜索: "高吞吐量"

共找到 4 篇相关文章

谁在攻坚通用与软件生态难题?存算一体化写入十四五规划

谁在攻坚通用与软件生态难题?存算一体化写入十四五规划

在AI技术迅速发展的背景下,计算架构正面临前所未有的挑战。最新数据显示,截至今年三月,国内每天的人工智能调用量已经达到了惊人的140万亿次token,相较于去年年底的100万亿以及两年前初期的10亿量级,增幅分别高达四成和超过一千倍。这种激增的背后,是AI技术在各种场景中的广泛应用,包括智能体、多模态交互及长文本推理等领域。当前市场对高吞吐量、低功耗计算资源的需求日益迫切,而传统的存储技术和带宽限

科技2 阅读
黄仁勋GTC访谈:低延迟推理驱动AI经济新爆发、电力芯片供需紧平衡将持续長期影響

黄仁勋GTC访谈:低延迟推理驱动AI经济新爆发、电力芯片供需紧平衡将持续長期影響

人工智能正从单纯的信息生成转向任务执行,以编码代理为代表的低延迟高吞吐量推理场景,标志着AI基础设施商业化的新阶段即将来临。在供应方面,电力、芯片和数据中心建设几乎没有任何多余的资源,这一状况可能会长期持续。英伟达首席执行官黄仁勋在GTC 2026大会主题演讲后的专访中,针对AI推理经济、CPU策略、收购Groq的原因以及供应链紧张等问题,发表了一系列看法。黄仁勋指出,过去一年,人工智能在关键领

科技3 阅读
谷歌推出Gemini 3.1 Flash-Lite,强调速度与节能,超越前代2.5 Flash

谷歌推出Gemini 3.1 Flash-Lite,强调速度与节能,超越前代2.5 Flash

3月4日,谷歌宣布正式发布了Gemini 3.1 Flash-Lite版本,这款模型号称是速度最快的以及具有极高性价比的型号之一,特别适合开发者处理大规模和高吞吐量的工作负载需求,在同类产品中表现出卓越的质量。自今日起,该新版本将通过Google AI Studio平台上的Gemini接口提供给开发者预览体验,并且也将通过Vertex AI面向企业用户提供服务。Gemini 3.1 Flash-L

科技2 阅读