AI/ML訓練開發出供推論使用的模型，用於識別任何需要辨識的物件。這些物件可以是智慧城市街道上順暢或擁擠的交通、用於實現安全存取控制的身份證件和人臉比對的許可級別、向客服中心撥打電話的對話內容，抑或是郵政分發中心中信封上的手寫地址。

訓練通常在企業資料中心或雲端進行，這些環境中有眾多高效能伺服器、充裕的記憶體、硬體加速器和高速網路可以投入工作負載。在這種環境下，需快速完成工作的訓練使用大量供給運算、網路連結和冷卻的電力。儘管推論工作負載也能在資料中心或雲端執行，但由於多種原因，越來越多推論任務正遷移至邊緣。

首先是延遲問題。將原始資料發送到雲端或資料中心耗用時間，因此需要更長的時間來執行推論，而且將想要的答案或決策發送至邊緣的時間也會增加。以工廠自動化、雷達、電子作戰等即時任務來說，費時過長的決策會導致高昂成本。
...
...