爱范儿9月16日发布的文章提到,高通推出高带宽计算技术(High bandwidth compute,HBC)。文章用该技术讨论AI计算中数据搬运效率的问题。
文章称,过去十年AI计算能力和模型规模快速膨胀,但内存容量、带宽和数据搬运效率并没有以相同速度增长。越来越多时间和能耗花在数据移动上,而非真正的计算,这就是“内存墙”。
文章还把HBC与米其林三星餐厅潮上潮的“潮 1/2”就餐模式类比:餐厅在后厨旁放一张小餐桌,供少数人就餐,饭菜在主厨做好的瞬间即可上桌,以减少传菜过程中的风味和热量损耗。
