HBF将超过HBM,闪存巨大利好
转:
有预测称,计划于明年实现商业化的下一代 NAND 闪存产品——高带宽闪存 (HBF),将在大约 10 年内超越高带宽存储器 (HBM) 市场,而 HBM 是人工智能半导体的核心组件。
2月3日,韩国科学技术院(KAIST)电气电子工程系金正浩教授在首尔中区新闻中心举行了“HBF研究内容和技术开发战略简报会”,并强调“随着人工智能的思考和推理能力变得重要,以及从文本界面向语音界面的过渡,所需的数据量必将呈爆炸式增长”。
他解释说:“如果说中央处理器(CPU)是个人电脑时代的核心,低功耗是智能手机时代的关键,那么内存就是人工智能时代的核心。”他还补充道:“HBM决定速度,HBF决定容量。”HBF是一种通过垂直堆叠NAND闪存来显著提升容量的内存,主要用于长期存储,与HBM类似。
因此,近年来NAND闪存在半导体行业的重要性日益凸显。随着人工智能代理服务的扩展,作为长期记忆的“键值”(KV)缓存的作用也日益增强。过去,HBM承担着这一角色,但越来越多的观点认为,NAND闪存更适合承担这一角色。
在本次简报会上,由被誉为“HBM之父”的金教授领导的KAIST TeraLab介绍了当前人工智能技术的发展趋势和内存路线图。金教授是HBM基本概念和结构的构思者和设计者,HBM是韩国率先在全球范围内成功实现商业化的核心人工智能半导体技术。
当天,金教授公布了采用HBF的下一代内存架构。他展示了多种架构,其中包括一种在GPU两侧分别安装4个HBM和4个HBF,总容量为96GB HBM和2TB HBF的架构;以及另一种架构,其中两排分别安装8个HBM和8个HBF,以处理更大的容量。
金教授强调说:“HBM 将作为书架,HBF 将作为图书馆。”他补充道:“在书架上,您可以立即取出并查看您需要的书籍;而在图书馆里,即使速度慢一些,您也可以一次查看更多的书籍。”
金教授预测,由于HBM单靠自身无法满足爆炸式增长的需求,业界势必会采用HBF。目前的架构是将最多两个图形处理器(GPU)垂直连接,并在GPU旁边安装HBM来处理运算;而未来,通过将HBM和HBF结合使用,可以消除容量限制。
金教授预测,“当CPU、GPU和内存有机地结合在单个基本芯片上的MCC(内存中心计算)架构完成时,所需的HBF容量将进一步增加”,并且从2038年起,HBF的需求将超过HBM。
金教授表示:“我们正在与三星电子、SK海力士、闪迪等公司就HBF进行技术交流,并与AMD、谷歌、英伟达等潜在客户公司保持联系。”
目前,三星电子、SK海力士和闪迪等全球企业正在加速HBM的研发。金教授认为,韩国国内企业占据了更有利的地位。闪迪目前只专注于NAND闪存,而三星电子和SK海力士则同时具备HBM和封装能力。他表示:“未来10到20年,随着结构性变革的推进,韩国有望在人工智能计算机领域占据领先地位。”他补充道:“而HBM正是实现这一目标的基石。”
具体来说,SK 海力士正在开发 HBF,目标是明年实现量产;而 SanDisk 于去年 7 月成立了 HBF 技术咨询委员会。
在今年的CES 2025上,NVIDIA也提出了一种解决NAND闪存瓶颈的方案,即直接连接数据处理单元(DPU)和固态硬盘(SSD),将KV缓存(即推理过程中积累的先前对话上下文)存储在大容量SSD中,而不是HBM中。金教授强调,需要通过与NVIDIA、谷歌和AMD等大型科技公司合作来抢占市场。金教授表示:“由于HBF工艺与现有的HBM工艺几乎相同,最终将演变成一场技术速度的竞赛。”他补充道:“对于全面商业化而言,哪些服务会采用这项技术至关重要。”
金教授认为,“继 HBM 之后,韩国内存制造商也必须在 HBF 领域主动出击,以免在人工智能市场失去影响力”,并补充道,“以内存为中心的人工智能时代即将到来”。
两大巨头,挺进HBF 随着人工智能市场转向推理,三星电子和SK海力士正在开发高带宽闪存(即所谓的高带宽内存的扩展),尽管它们在人工智能内存竞赛的下一阶段的策略有所不同。 由于 HBM 现在是 AI 芯片的关键组件,这两家韩国存储器制造商正寻求在下一代存储器周期中抢占先机。 一位要求匿名的业内人士表示:“由于需求疲软和价格下跌,NAND 市场一直处于低迷状态,但 HBF 一旦实现商业化,可能会在人工智能数据中心开辟新的需求基础。” 据业内人士周三透露,三星电子和SK海力士在HBF(高带宽闪存)领域采取了不同的策略。SK海力士坚持以HBM为核心的战略,同时将基于NAND的HBF定位为一种补充解决方案。相比之下,三星则被视为正在重新定义这项技术在更广泛的AI内存和存储架构重组中的角色。 HBM专为超高速计算而设计。而HBF则作为大规模数据存储和高效传输的支撑层。它的速度约为HBM的80%到90%,容量却是HBM的8到16倍,功耗却降低了约40%。对于大型AI训练和推理服务器而言,HBF被广泛认为是能够缓解HBM瓶颈的“中层内存”。 其主要优势在于处理能力。HBM优先考虑处理速度,而HBF可以在更低的成本下实现高达10倍的处理量扩展,使其成为解决HBM价格和处理能力双重限制的理想选择。 从结构上看,HBF 是通过堆叠多层 NAND 闪存制成的,类似于 HBM 由堆叠式 DRAM 构成。第一代产品预计将堆叠 16 层 32GB 的 NAND 闪存,总容量约为 512GB。 SK海力士在上周的财报电话会议上表示,正在开发HBF作为HBM的延伸技术。这家芯片制造商计划明年开始量产HBF,并正与SanDisk合作开发下一代基于NAND闪存的存储器以及相关的国际标准化工作。 SK海力士的核心研发方向是AIN B,这是一种采用堆叠式NAND闪存的带宽增强型设计。该公司正在探索将HBF与HBM结合使用的方案,以帮助弥补人工智能推理系统中的容量限制。此外,SK海力士还通过与全球科技公司合作以及参与开放计算项目(OCP)的活动来拓展其生态系统。 与此同时,三星电子正着力推进人工智能内存和存储架构的全面革新。在近期举办的全球存储盛会上,该公司概述了人工智能基础设施的需求——包括性能、容量、散热和安全性——并推出了一种整合内存和存储的统一架构。 三星正利用其晶圆代工部门的逻辑设计和工艺专业知识,研究如何提高下一代基于 NAND 的解决方案的控制性能和电源效率。 业内观察人士认为,三星此举旨在围绕人工智能推理环境重塑下一代内存和存储格局(包括 HBF)。 另一位要求匿名的业内人士表示:“随着人工智能需求的持续增长,内存市场的重心正迅速从传统的DRAM和NAND转向高带宽产品。” “未来两到三年内,领导地位的竞争可能会加剧,尤其是在 HBF 和第六代 HBM4 等技术方面,这些技术将成为未来数据中心基础设施的关键组成部分。” 据证券公司预测,HBF市场规模将从2027年的10亿美元增长到2030年的120亿美元。HBF能够在提升带宽的同时扩展容量,因此被视为满足人工智能数据中心日益增长的需求的关键技术。 不过,考虑到HBM(于2015年开发)用了七到八年时间才获得市场认可,HBF也可能面临漫长的发展阶段。即便如此,分析师指出,NAND闪存行业似乎正处于更广泛变革的早期阶段。 韩国科学技术院电气工程学院教授金钟浩(Kim Joung-ho)是 HBM 基本结构和概念的先驱,他周三在首尔举行的新闻发布会上表示,从 2038 年开始,对 HBF 的需求将超过对 HBM 的需求。 “当以内存为中心的计算架构(其中 CPU、GPU 和内存有机地集成在单个基本芯片上)完全实现时,对 HBF 的需求量将显著增加,”Kim 说。 业内人士预计,英伟达的新平台将采用HBF技术。这位教授强调,继HBM之后,三星和SK海力士等韩国内存制造商也必须在HBF领域占据领先地位,才能保持在全球人工智能市场的影响力。