HBM：您别嫌贵，还不一定买得到
最新资讯
2023-08-08 16:56:19
阅读量 ()
随着人工智能/机器学习(AI/ML)在全球范围内的迅速兴起，2020年，以高带宽内存(HBM、HBM2、HBM2E、HBM3)为代表的超带宽解决方案开始逐渐显露头角。进入2023年后，以ChatGPT为代表的生成式人工智能市场的疯狂扩张，在让AI服务器需求迅速增加的同时，也带动了HBM3、DDR5等高阶产品的销售上扬。TrendForce的调研显示，HBM现在几乎已成为高端AI服务器GPU的标准配置，预估今年全球HBM的年需求量将增长约60%，即从2022年的1.81亿GB增加到2.9亿GB，2024年还将再成长30%。目前，谷歌、亚马逊、微软等涉足云服务器业务的全球科技巨头越来越多地采用HBM产品，尤其是HBM2E。芯片厂商中，NVIDIA A100/A800、AMD MI200芯片均采用HBM2E；NVIDIA H100和AMD MI300X采用了SK海力士数据速率为5.6GT/s的12层24GB HBM3；SK海力士、三星和美光三家存储芯片大厂则分别以50%、40%、10%的比例瓜分了全球HBM市场份额。HBM技术于2013年推出，是一种高性能3D堆栈DRAM构架，数据传输速率大概可以达到1Gbps左右。此后，该技术标准差不多每隔2-3年就会更新一代，使得第二代(HBM2)、第三代(HBM2E)、第四代(HBM3)和第五代(HBM3E)产品的带宽和最高数据传输速率记录被不断刷新。鉴于同期内其他产品的带宽仅增加两到三倍，我们有理由将HBM产品的快速发展归功于存储器制造商之间激烈的竞争。早在2021年，SK海力士和Rambus就已先后发布最高数据传输速率6.4Gbps和8.4Gbps的HBM3产品，每个堆栈提供超过665GB/s和1075GB/s的传输速率；今年4月，SK海力士成功实现垂直堆叠12个单品DRAM芯片，最高容量24GB的HBM3 DRAM新产品；7月，美光最新出样的8层堆叠24GB容量第二代HBM3内存带宽超过1.2TB/s，引脚速率超过9.2Gb/s，能使大型语言模型的训练时间缩短30%以上。
相关机构预测称，SK海力士和三星的下一代产品，包括HBM3和HBM3E，将在明年主导相关芯片市场。而为了满足需求，三星和SK海力士不但预计将于今年下半年到明年第一季度期间发布HBM3E样品，并于2024年下半年开始量产，还计划于明年将HBM芯片产量提高一倍，并减少其他类别存储芯片的投资，尤其是库存水平较高、盈利能力差的NAND。《BusinessKorea》在最近的一则报道中指出，为了实现上述目标，两家公司计划在明年年底前投资超过2万亿韩元。其中，SK海力士计划利用利川现有HBM生产基地后的清州工厂的闲置空间，三星电子正在考虑扩大位于忠清南道天安市的HBM核心生产线，该地区是设备解决方案部门下的先进封装团队的所在地。虽然三星和SK海力士没有透露HBM的具体价格，但据SemiAnalysis披露，HBM3的价格大约是标准DRAM芯片的5-6倍，预计到2026年，HBM占全球内存收入的比例将从当前的不到5%增长到20%以上。这就是为什么今年HBM出货量仅占DRAM总出货量的1.7%，但其销售额比例却达到了11%，英伟达、AMD、微软、亚马逊等芯片大厂排队抢货，甚至溢价也可考虑的原因。这样的市场表现对于提高存储半导体公司的业绩也有积极的影响。SK海力士在7月26日举行的第二季度业绩发布会上解释说，“与上一季度相比，第二季度DRAM的平均售价(ASP)‘以高个位数百分比’上涨，这是由于销售了许多高附加值产品的影响。”同时披露的财报也显示，尽管SK海力士第二季度营业亏损为2.88万亿韩元，但其股价上周却上涨了12%。次日，三星宣布第二季度营业利润为6685亿韩元，同比下降95.26%。但受益于最新一代HBM3、DDR5芯片等高端内存技术订单激增的影响，三星股价当日上涨了2.4%。根据NVIDIA的定义，目前DL/ML型AI服务器平均每台均搭载4张或8张高端显卡，搭配两颗主流型号的x86服务器CPU，主要出货厂商来自于Google、AWS、Meta、Microsoft、百度、字节跳动等公司。据TrendForce集邦咨询预估，今年AI服务器出货量年增率可望达15.4%，2023-2027年AI服务器出货量年复合成长率约12.2%。显而易见，这将大幅带动存储器需求成长。以现阶段一台标准通用服务器为例，其DRAM配置规模约为500-600GB左右，而AI服务器在单条模组上可达64-128GB，平均容量约为1.2-1.7TB。同时，由于AI服务器追求更高的运算和传输速度，在接口上会优先采用PCIe 5.0，这使得相较于一般服务器而言，AI服务器会增加GPGPU的使用量，因此若以4或8张NVIDIA A100 80GB配置计算，HBM用量约为320-640GB。可以预见的是，未来在AI大模型日趋复杂化的趋势下，将刺激更多的存储器用量，并同步带动服务器DRAM、企业级SSD和HBM的需求成长。
这一趋势在SK海力士的财报电话会议上，得到了首席财务官金祐贤(Kim Woohyun)的认同。他指出，随着以ChatGPT为中心的生成式AI市场的扩大，与传统服务器相比，AI服务器使用的内存至少多出1-8倍，以实现更快的计算处理，并采用HBM3和DDR5 DRAM等高性能内存产品，这不仅会推动需求，而且对盈利能力产生了积极影响。他还表示，虽然全公司投资规模同比减少50%以上的基调没有变化，但公司将利用通过经营效率化确保的资金，针对今后主导市场的高容量DDR5、HBM3 DRAM，持续投资扩大生产能力。据BusinessKorea 报道，SK海力士的目标是在明年将HBM和DDR5芯片的销量翻一番。与此同时，三星也已开始向主要的AI SoC公司和云计算公司发货8层16GB和12层24GB HBM3产品，并计划到2024年将HBM产能增加到2023年的两倍。而据当地券商KB Securities称，到2024年，HBM3将占三星芯片销售收入的18%，高于今年预计的6%。三星负责芯片业务的设备解决方案部门总裁兼负责人Kyung Kye-hyun在7月早些时候的公司会议上表示，三星将努力控制50%以上的HBM市场，高于现在的40%。美光最新的DRAM四年路线图则显示，其HBM3E预计将在2024年第三季度/第四季度开始出货，正在开发的HBMNext内存产品将为每个堆栈提供1.5TB/s – 2+TB/s的带宽，容量范围为36GB至64GB。目前来看，作为一项重要的技术创新，HBM的发展前景是相当光明的，尤其是在人工智能训练应用中。但对比GDDR DRAM动辄16/18Gbps的速率，HBM3的速率即便达到9.2Gbps，也仍然存在差距，而限制HBM发展的原因则主要来自两方面：一是中介层，二是3D堆叠带来的复杂性和制造成本的增加。但我们相信，随着全球存储三巨头的深度介入，上述挑战终将得到解决，HBM市场的激战也会愈演愈烈。
在线客服