來(lái)源：雷鋒網(wǎng)

存算一體或者叫存內(nèi)計(jì)算技術(shù)隨著 AI 的火熱再一次成為業(yè)內(nèi)關(guān)注的焦點(diǎn)，存儲(chǔ)和計(jì)算的融合有望解決 AI 芯片內(nèi)存墻的限制，當(dāng)然，實(shí)現(xiàn)的方法也各不相同。雷鋒網(wǎng)此前介紹過(guò)知存科技基于 NOR FLASH 存內(nèi)計(jì)算，還有清華大學(xué)錢鶴、吳華強(qiáng)教授團(tuán)隊(duì)基于憶阻器的存算一體單芯片算力可能高達(dá) 1POPs。三星基于 HMB 的存內(nèi)計(jì)算芯片又有何亮點(diǎn)？

三星最新發(fā)布的基于 HBM2 的新型內(nèi)存具有集成的 AI 處理器，該處理器可以實(shí)現(xiàn)高達(dá) 1.2 TFLOPS 的計(jì)算能力，從而使內(nèi)存芯片能夠處理通常需要 CPU、GPU、ASIC 或 FPGA 的任務(wù)。

新型 HBM-PIM（Processing-in-memory，存內(nèi)計(jì)算）芯片將 AI 引擎引入每個(gè)存儲(chǔ)庫(kù)，從而將處理操作轉(zhuǎn)移到 HBM。新型的內(nèi)存旨在減輕在內(nèi)存和處理器之間搬運(yùn)數(shù)據(jù)的負(fù)擔(dān)，數(shù)據(jù)的搬運(yùn)耗費(fèi)的功耗遠(yuǎn)大于計(jì)算。

三星表示，將其應(yīng)用于現(xiàn)有的 HBM2 Aquabolt 內(nèi)存后，該技術(shù)可以提供 2 倍的系統(tǒng)性能，同時(shí)將能耗降低 70% 以上。該公司還聲稱，新存儲(chǔ)器不需要對(duì)軟件或硬件進(jìn)行任何更改（包括對(duì)內(nèi)存控制器），可以讓早期采用者更快實(shí)現(xiàn)產(chǎn)品的上市。

三星表示，這種存儲(chǔ)器已經(jīng)在領(lǐng)先的 AI 解決方案提供商的 AI 加速器中進(jìn)行了試驗(yàn)。三星預(yù)計(jì)所有驗(yàn)證工作都將在今年上半年完成，這標(biāo)志著產(chǎn)品上市進(jìn)入快車道。

三星在本周的國(guó)際固態(tài)電路會(huì)議（ISSCC）上展示了其新存儲(chǔ)器架構(gòu)的詳細(xì)信息。

如您在上面的幻燈片中看到的，每個(gè)存儲(chǔ)庫(kù)都有一個(gè)嵌入式可編程計(jì)算單元（PCU），其運(yùn)行頻率為 300 MHz，每個(gè)裸片上總共 32 個(gè) PCU。這些單元通過(guò)來(lái)自主機(jī)的常規(guī)存儲(chǔ)命令進(jìn)行控制，以啟用 DRAM 中的處理功能，不同的是，它們可以執(zhí)行 FP16 的計(jì)算。

該存儲(chǔ)器還可以在標(biāo)準(zhǔn)模式下運(yùn)行，這意味著新型的存儲(chǔ)器既可以像普通 HBM2 一樣運(yùn)行，也可以在 FIM 模式下運(yùn)行以進(jìn)行存內(nèi)數(shù)據(jù)處理。

自然地，在存儲(chǔ)器中增加 PCU 單元會(huì)減少內(nèi)存容量，每個(gè)配備 PCU 的內(nèi)存芯片的容量（每個(gè) 4Gb）是標(biāo)準(zhǔn) 8Gb HBM2 存儲(chǔ)芯片容量的一半。為了解決該問(wèn)題，三星將 4 個(gè)有 PCU 的 4Gb 裸片和 4 個(gè)沒(méi)有 PCU 的 8Gb 裸片組合在一起，實(shí)現(xiàn) 6GB 堆棧（與之相比，普通 HBM2 有 8GB 堆棧）。

值得注意的是，上面的論文和幻燈片將這種技術(shù)稱為功能內(nèi)存 DRAM（FIMDRAM，F(xiàn)unction-In Memory DRAM），但這是該技術(shù)的內(nèi)部代號(hào)，這個(gè)技術(shù)現(xiàn)在的名稱是 HBM-PIM。三星展示的是基于 20nm 原型芯片，該芯片在不增加功耗的情況下可實(shí)現(xiàn)每 pin 2.4 Gbps 的吞吐量。

論文將基礎(chǔ)技術(shù)描述為功能內(nèi)存 DRAM（FIMDRAM），該功能在存儲(chǔ)庫(kù)中集成了 16 寬單指令多數(shù)據(jù)引擎，并利用存儲(chǔ)庫(kù)級(jí)并行性提供了比片外存儲(chǔ)高 4 倍的處理帶寬。另外，可以看到的是這種芯片存儲(chǔ)解決方案無(wú)需對(duì)常規(guī)存儲(chǔ)器控制器及其命令協(xié)議進(jìn)行任何修改，這使得 FIMDRAM 可以更快在實(shí)際應(yīng)用中使用。

不幸的是，至少在目前看來(lái)，我們不會(huì)在最新的游戲 GPU 中看到這些功能。三星指出，這種新內(nèi)存要滿足數(shù)據(jù)中心、HPC 系統(tǒng)和支持 AI 的移動(dòng)應(yīng)用程序中的大規(guī)模處理需求。

與大多數(shù)存內(nèi)計(jì)算技術(shù)一樣，希望這項(xiàng)技術(shù)能夠突破存儲(chǔ)芯片散熱的限制，尤其是考慮到 HBM 芯片通常部署在堆棧中，而這些堆棧并不都有利于散熱。三星的演講者沒(méi)有分享 HBM-PIM 如何應(yīng)對(duì)這些挑戰(zhàn)。

三星電子存儲(chǔ)器產(chǎn)品計(jì)劃高級(jí)副總裁 Kwangil Park 表示：" 我們開(kāi)創(chuàng)性的 HBM-PIM 是業(yè)內(nèi)首個(gè)針對(duì)各種 AI 驅(qū)動(dòng)的工作負(fù)載（如 HPC，訓(xùn)練和推理）量身定制的可編程 PIM 解決方案。我們計(jì)劃通過(guò)與 AI 解決方案提供商進(jìn)一步合作以開(kāi)發(fā)更高級(jí)的 PIM 驅(qū)動(dòng)的應(yīng)用。"

注，文中圖片來(lái)自三星