什麼是 Tensor Tiling?

在電動汽車中,每一個焦耳都很重要 – 從外部記憶體存取資料就是主要功耗之一。這就是為什麼未來將啟用先進駕駛輔助系統(ADAS)和自動駕駛平台的AI晶片的設計者關心系統中消耗了多少頻寬的原因。

在這些系統中,我們將要依賴的各種ADAS和自主功能的處理(例如語音辨識以及多攝影機/感測器的物體辨識和追蹤)將需要高效能的神經網路推理,這通常會為SoC內部的記憶體頻寬帶來巨大的壓力。由於片上系統(SoC)內部的頻寬非常寶貴,因此節省的每一位元都可以降低功耗,並有助於擴展汽車的續航里程。

這就是為什麼Imagination Tensor Tiling技術至關重要的原因。張量很大的多維陣列資料元是神經網路中使用的主要關鍵結構。傳統上,這些操作需要頻繁重複地存取主記憶體,這會消耗大量頻寬和功率。 

Imagination Tensor Tiling技術,可有效地把張量分為多個區塊(tile)並分組處理,使它們可以更高效地進行處理,結合IMG Series4神經網路加速器(NNA)中的晶載記憶體,可顯著降低功耗,及節省晶片面積以降低成本。