英特爾張宇：邊緣AI有三個階段，我們還處在山腳

2022年6月29日，在AspenCore舉辦的“2022國際AIoT生態發展大會”上，英特爾公司高級首席工程師、物聯網事業部中國區首席技術官張宇博士通過視頻方式分享了“邊緣AI技術發展趨勢與展望”主題演講。tCrednc

物聯網發展的三個階段

張宇認為，物聯網的發展會經歷互聯、智能、自主三個階段。這也就好比物聯網領域的摩爾定律，“雖然物聯網是一個碎片化的市場，包含著眾多的行業，但是其發展也將遵循著這三個規律。”張宇表示。tCrednc

tCrednc

這三個階段的第一個階段是物物互聯階段。“我們之前談感知中國，首先需要將數據從傳感器通過各種有線或無線通信手段，比如Wi-Fi、藍牙、NB-IoT、5G等，將數據傳到數據中心或邊緣計算節點進行匯總和處理。這將是物聯網發展的初級階段，也是進一步發展的基礎。”張宇指出。tCrednc

第二個階段是智能化的系統階段。在這個階段，收集起來的數據將會根據預先設定的規則進行過濾。在發現異常的時候，能夠產生及時的告警。比如在零售領域，智能貨柜已經能夠感知當前存放的商品的數量。當商品的數量低于一定閾值的時候，可以自動地去通知后臺進行配貨。tCrednc

第三個階段將是自主系統階段。在這個階段，人工智能的技術將被廣泛地使用，整個物聯網系統將能夠根據使用者的意圖實現自主化的管理。人將更多地去從事監督管理的工作，工作的負荷會極大地降低。比如汽車的自動駕駛、工業4.0中的無人工廠，這些都是自主系統的典范。“當下新冠疫情深刻影響了我們生活與工作的方式。我們注意到，在歐美已出現了勞動力短缺、供應鏈緊張等問題，所以他們對于利用自主系統來取代人工的需求越發的迫切。自主系統將會以軟件為基礎，軟件定義的數字基礎架構將成為今后的主流。軟件定義將出現在數字基礎設施的各個領域，不僅僅出現在邊緣設備，也會出現在從接入網到核心網的各個節點。”張宇認為。tCrednc

“在邊緣設備中，隨著芯片在計算、通信與存儲能力方面不斷地提高，邊緣設備有了更多的能力來承載更多的負載。再加上像虛擬化與云原生技術的普及，使得傳統單一功能的邊緣設備正在被能夠同時承載多個應用，甚至于不同操作系統應用的邊緣設備所取代，我們稱之為是負載整合。通過軟件定義的方式，邊緣服務提供商可以靈活地調整邊緣設備所運行的負載，繼而去構建邊緣即服務（EaaS）等新的商業模式。”tCrednc

“在接入側，隨著5G技術的普及，我們擁有了更高的帶寬，但是如何有效地管理這些帶寬是我們當下需要考慮的問題。服務提供商希望能夠根據應用對于服務質量的要求以及用戶的級別來實現這種差異化服務，而這些要求往往是動態變化的，因此也只有通過軟件定義的方式才能夠滿足服務對個性化配置的要求。”tCrednc

“在核心網，傳統的核心路由器與交換機是基于專有的芯片進行實現的，靈活度相對較差。隨著用戶對于差異化服務的要求越來越高，利用這種可編程的芯片來實現軟件定義的核心網絡已經成為業界的趨勢。比如，我們國家正在構建的未來網絡試驗設施（CENI），它的核心就是建設以軟件定義為基礎的服務定制化的網絡。”tCrednc

人工智能正在不斷成熟

從物聯網的演進規律可以看到，人工智能技術在智能與自主階段將發揮越來越大的作用。那么，人工智能尤其是邊緣人工智能又將如何發展呢？首先，可以看到，在整個人類歷史的發展過程中，已經經歷了好幾次人工智能的高潮（現在這個高潮并不是第一次）。本次人工智能高潮的起點是2012年，當時一個標志性的事件是一個叫Alex Krizhevsky的學生，設計了一個被稱為AlexNet的深度卷積神經網絡，并且將這個網絡運用于ImageNet分類大賽，取得了冠軍，而且其準確度遠遠超過了以往冠軍的準確度。在這之后，以深度卷積神經網絡為代表的深度學習技術被廣泛地應用到了各個領域，比如交通領域的車號識別、零售領域的刷臉支付以及自然語言處理等等。其中，利用深度學習進行圖像處理是當下應用得最為廣泛的人工智能的應用，包括之前圍棋領域的Alpha Go，它也是將圍棋的布局當作一個19×19的圖像，利用卷積神經網絡對這個圖像進行處理，來得到下一步行棋的策略。tCrednc

但是，卷積神經網絡是不是推動本輪人工智能發展最關鍵的技術呢？張宇認為，答案是否定的，因為在上世紀90年代，在上次人工智能發展高潮的時候已經有人開始嘗試使用這一技術。在上世紀90年代，貝爾實驗室的研究人員Yann Lecun就發明了一個卷積神經網絡，被稱為LeNet，用于識別支票上的字符。Yann目前是Meta的首席AI科學家，也是2018年度的圖靈獎得主。因此，卷積神經網絡并不是一種新的技術。張宇認為，推動本次人工智能發展的關鍵要素主要有兩個：一個是大量可供訓練的數據，另外一個是我們所擁有的算力得到了極大的提升。tCrednc

首先，讓我們看一組算力的數據。我們知道，最能體現人類計算能力的領域就是超算，每年全球超級計算機500強榜單頒布的時候都會引起人們廣泛的關注。這個榜單的第一次頒布是在1994年，當時排名首位的超級計算機每秒鐘浮點運算的峰值速度達到了131Gigaflop/s。而在最新一期（今年5月底6月初頒布的）榜單上，人類第一次跨越了百億億次的計算門檻，達到了1.10Exaflop/s的能力。這一數字已經是上世紀90年代超算的800多萬倍了，所以在摩爾定律的推動下，我們所擁有的算力得到了極大的提升。算力的提升可以使我們更快地得到處理的結果，或者實現更加復雜的算法模型。tCrednc

tCrednc

“原來完成一個人工智能網絡模型的訓練可能需要幾個月的時間，而現在可能只需要幾個小時。原來去做人工智能的推理，可能需要等上一個小時，現在可能只需要幾毫秒。所以我們才能看到有越來越多帶有人工智能能力的智能攝像頭、智能視頻服務器的出現。算力的提升，大大地拉近了人工智能技術與商業訴求之間的距離，促進了技術的落地。”張宇指出。tCrednc

當今，超算500強榜單中有超過77%的超算使用的是英特爾處理器。在同期發布的體現超算效率的預測超算500強榜單中，同樣有77%的超算使用的是英特爾產品?？梢?，英特爾在提升算力方面做出了很大的貢獻。tCrednc

另一方面，人工智能的發展又離不開數據，只有通過大量數據的訓練才能得到一個理想的人工智能網絡模型。在數據方面，如果以ImageNet為例，其中包含了超過1400萬張被標注的圖片，這些圖片可以幫助開發人員進行圖像分類的訓練。但是，這些數據量積累的背后實際上是離不開我們在存儲與通信技術方面能力的提升的。tCrednc

回想一下上世紀90年代，當時我們所使用的移動存儲介質是磁盤，當時有兩種規格的磁盤，一種是3寸盤，一種是5寸盤，3寸盤的容量大概是1.44MB，5寸盤的容量是1.2MB。那個時候硬盤的容量也不過就是幾百MB。而如今，我們所使用的移動硬盤，它的容量都是上TB的，我們所擁有的存儲能力也有了超過百萬倍的提升。tCrednc

在通信方面，5G技術正在部署，它提高了數據傳輸的速度，降低了傳輸的延遲。因此，可以說，推動人工智能發展真正的要素是計算、通信與存儲技術飛速的發展。tCrednc

邊緣AI的三個階段——邊緣推理還處在山腳

人工智能已經被應用到了邊緣計算，并且在工業物聯網等領域得到了應用，但是邊緣人工智能離成熟還有很長的路要走。目前邊緣人工智能的應用都集中在人工智能的推理階段，人工智能網絡模型的訓練還是要依賴于數據中心的訓練服務器進行完成的，這就不可避免地限制了模型更新的頻率。而在工業物聯網等領域，它有著快速更新模型的需求。比如在廢品回收行業，現在已經開始利用機器人完成廢品的分揀。由于廢品的種類很多，形態各異，很難用已有的單一模型涵蓋所有可能出現的廢品，因此需要更智能化的技術來實現邊緣的訓練。因此，邊緣訓練將是邊緣人工智能發展的第二個階段。tCrednc

但是邊緣的訓練并不是將數據中心訓練的手段照搬到邊緣來進行實現的。邊緣的訓練面臨著一些獨特的挑戰，比如在邊緣，參與操作的人員往往是產線的工作人員，這些人往往是缺乏人工智能專業的知識，也沒有精力去從事數據的標注等與訓練相關的工作。因此，邊緣的訓練就需要有更自動化的標注工具。另外，邊緣訓練往往是利用異常的樣本進行訓練的，比如帶有瑕疵的樣品，但在正常的產線上可供訓練的帶有瑕疵的樣本的數量往往是非常有限的。因此，如何通過增強訓練等手段來增加訓練樣本的數量，是邊緣訓練要解決的問題。tCrednc

另外，用戶對于數據隱私保護的需求越來越高，相應的法令法規在不斷地出臺。因此，如何利用聯邦學習等方法來保護數據隱私，在這些保護隱私的前提下來完成模型訓練的工作，這些都是邊緣訓練階段需要考慮和解決的問題。tCrednc

除此之外，目前人工智能的方案，其實還是非常依賴于人的參與的。雖然可以利用大量的數據以及巨大的算力來完成一個模型訓練的工作，但是網絡模型的結構還是需要人來進行設計的。在今后，邊緣人工智能應該實現自主化的學習，這也就是現在業界大家常說的自動機器學習。在這個階段，人工智能系統將能夠根據對人的意圖的理解自主地設計和選擇適宜的人工智能網絡的模型，利用適宜的數據來訓練這些網絡模型，同時能夠自主地實現模型的部署與更新。tCrednc

因此，邊緣人工智能的發展將沿著邊緣推理、邊緣訓練到自主學習的軌跡發展，張宇認為。“如果我們用攀登珠穆朗瑪峰來進行類比，邊緣推理只是讓我們站在了珠穆朗瑪峰的山腳，而實現的邊緣訓練相當于我們達到山腰，也只有完成了自主的學習，才代表我們站在了高山之巔。”他指出。tCrednc

tCrednc

也許有人會認為邊緣訓練和自主學習還有些遙不可及，其實業界已經進行了相關研究的工作，并啟動了相關標準的制定。“比如在去年人工智能的頂會ICLR上就有一篇滿分的論文是關于自動機器學習的。在標準方面，IEEE也已經開始制定邊緣繼續學習的標準，我也參與其中，負責客戶節點與訓練節點之的間職能劃分和通信協議的定義。”張宇介紹說。tCrednc

總之，人工智能在邊緣的應用已經起步，并且沿著從推理到訓練、再到自主學習的軌跡前進。當然，可以預見，這個過程是曲折和艱苦的，張宇指出。tCrednc

英特爾賦能E2E AI解決方案

人工智能的發展離不開在計算、通信和存儲技術方面的提升，而英特爾作為一家數據公司，其產品恰恰是涵蓋了計算、通信和存儲的各個方面。在人工智能的計算方面，英特爾提供了包括CPU、GPU、FPGA和人工智能加速芯片等在內的多種產品來滿足用戶對于算力多樣化的需求。“在近日舉辦的英特爾On產業創新峰會上，英特爾公司旗下的Habana Labs正式發布了用于深度學習訓練的第二代Gaudi處理器Gaudi2。Habana的Gaudi2處理器大幅提升了訓練的性能，在訓練主要用于機器視覺、自然語言處理等神經網絡模型的時候，Gody2 AI訓練的性能相較于英偉達的V100提升了2倍。”張宇表示。tCrednc

tCrednc

另外，英特爾致力于不同計算架構的融合，通過構建具有異構計算能力的芯片來滿足用戶對于計算多樣性的需求。“比如，我們所提供的凌動處理器和酷睿處理器，已經不再是傳統意義上的CPU了，它們在提供強大CPU算力的同時還融合了集成顯卡GPU的功能。利用集成顯卡，我們可以實現高性能的媒體的編碼、解碼以及轉碼的工作，甚至于人工智能的推理，來滿足游戲、視頻會議等等應用對于媒體處理及邊緣人工智能的需求。”張宇表示。tCrednc

在通信方面，英特爾面向5G網絡基礎設施發布了一系列的硬件和軟件的產品，以及包括智能網卡和用于以太網可編程交換機的ASIC芯片，用來實現高速軟件定義的網絡。在存儲方面，英特爾提供的奧騰持久內存提高了數據的存儲容量和讀寫的速度。英特爾致力于幫助用戶構建一個具有人工智能的端到端解決方案，通過AI、5G、智能邊緣三者的交織將智能推向一個新的發展的拐點。”他補充說。tCrednc

邊緣人工智能軟硬件產品

在邊緣人工智能方面，英特爾提供了各種軟件和硬件的產品，這些產品不僅提供了人工智能的能力，同時還提供了功能安全、時間敏感網絡、虛擬化等多樣化的能力。同時其所提供的是一種可擴展的人工智能解決方案。英特爾提供的人工智能處理的芯片可應用于從智能攝像機到智能網絡視頻、存儲器NVR到智能視頻服務器等各種設備中，張宇說。tCrednc

tCrednc

為了幫助合作伙伴快速地開發適于部署在邊緣人工智能硬件的產品，英特爾的視頻部門開發了各種配置的AI計算盒參考設計，包括硬件和軟件兩部分。硬件部分，基于其第11代Tiger Lake和第12代Alder  Lake酷睿處理器。在軟件方面，則提供了從視頻解碼到人工智能推理等完整的參考實現，而且這些軟件的實現都針對英特爾平臺進行了優化，充分利用英特爾處理器平臺集成的顯卡和硬件的能力達到了更高的性能。tCrednc

為邊緣人工智能提供軟硬件參考設計

利用英特爾所提供的軟件和硬件的參考設計，可以快速便捷地實現邊緣人工智能的解決方案。它可以實現從2路到32路以上視頻的分析，多達64路的高清解碼以及快速可靠的存儲。“我們還可以基于硬件信任根安全技術來幫助減少網絡攻擊漏洞。更重要的是，英特爾產品提供了長達15年的產品生命周期，保證了長期可靠的供貨。”張宇補充說。tCrednc

tCrednc

OpenVINO工具套件

除了用于計算、通信和存儲的硬件產品，英特爾還提供了大量軟件開發工具和軟件的解決方案。為了幫助開發者進行機器視覺和深度學習應用的開發，英特爾發布了OpenVINO工具套件，OpenVINO可以將開發者訓練好的神經網絡模型部署到目標平臺之上，實現深度學習推理的操作。它可以幫助開發者完成從模型到快速的構建，到模型的優化，再到模型的部署的完整流程。tCrednc

OpenVINO從2018年第一次發布以來，保持了大約一個季度一個新版本的速度不斷地更新和迭代。目前，OpenVINO已經開源服務于全球超過數十萬的開發人員，張宇說。tCrednc

tCrednc

OpenVINO工具套件提供了300多個英特爾預訓練的網絡模型，涵蓋了目標檢測、目標識別、語義分割、機器翻譯等等，可以用于學習和演示的模擬，或者也可以用于開發深度學習的軟件。這個深度學習的部署工具套件提供兩個關鍵的組件：一個是模型優化器（簡稱MO），另外一個是推理引擎（簡稱IE）。模型優化器可以對開發者在不同的人工智能開放框架上。比如Tensorflow、Caffe、Pytorch以及百度的PaddlePaddle，在這些人工智能框架上所開發的神經網絡模型，在保證精度的前提下進行簡化，并且將簡化的結果轉換成中間表述文件。推理引擎可以讀取這些中間表述文件，并且通過特定的硬件插件將中間表述文件運行到不同的目標平臺之上。“目前我們所能提供的插件包括CPU的插件、GPU的插件、FPGA的插件和VPU的插件，開發者可以在代碼不變的情況下將程序跑在不同的硬件平臺上，從而可以極大地降低開發的成本。”張宇表示。tCrednc

tCrednc

OpenVINO自發布以后不斷地進行更新和迭代，在不久之前剛剛發布了2022.1的版本。2022.1的版本是OpenVINO近三年半以來最大的一次版本的更新與迭代，它的更新主要集中在三個方面：更新、更簡潔的API接口；對模型有了更廣泛的支持；同時還提供了更加出色的可移植性和性能。tCrednc

對中國人工智能開發者的支持

英特爾還非常重視中國人工智能開發者的需求。“比如，我們對中國人工智能框架百度的飛漿（PaddlePaddle）人工框架有了更好的支持。飛漿與OpenVINO，我們已經在Open Model Zoo領域有了深度的合作，共同去支持開源社區的一些工作。”張宇指出，“OpenVINO將適配更多更新的PaddlePaddle的模型，通過Open Model Zoo來加速開發者項目的落地，讓OpenVINO的開發者有機會去嘗試更多優質的預訓練的模型。我們跟百度已經從目標檢測、語義分割和圖像分類入手選定了一些優質的預訓練模型進行適配。同時，今后我們還會有更多的模型加入到這樣適配的計劃。”tCrednc

tCrednc

“在模型的優化階段，原本的OpenVINO對于飛漿的框架并沒有直接的支持，對于飛漿的模型需要首先轉換成ONNX格式，才能夠使用英特爾的模型優化器工具進行模型的優化和IR格式的轉換，這樣會對模型的精度等相關的屬性造成一定的損失，并且增加了產品開發的時間。對于開發者而言，操作也相對來說比較煩瑣。隨著飛漿和OpenVINO產品合作的展開，在2022.1的版本中，前端的框架可以直接支持飛漿的模型。開發者現在無需中間格式的轉換，可以將飛漿模型通過MO直接轉換成IR格式，并將飛漿的模型直接作為OpenVINO推理引擎的輸入，為開發者提供了更為簡潔的人工智能推理的體驗。”tCrednc

邊緣人工智能的發展離不開生態合作伙伴共同的努力。英特爾積極創建了人工智能的生態，與包括ODM、OEM、ISV和SI等眾多合作伙伴共同構建了OpenVINO的生態系統。為了推動國內邊緣智能的發展，還在國內推動成立了OpenVINO中文社區，為廣大開發者創建了一個相互交流和學習的平臺。tCrednc

同時，英特爾與全球超過1200個生態合作伙伴共同推出了超過300個邊緣解決方案，服務于全球超過1萬個用戶。這些應用服務于在工業領域的像預測性維護、機器人，醫療領域的醫療成像、遠程醫護的護理，在零售領域比如智能零售，以及在消費領域云游、CDN和最新的元宇宙等等場景。tCrednc

3DAT技術助力背景奧運會

為了推動人工智能技術的落地，英特爾與合作伙伴一道進行了很多應用實踐。例如在剛剛過去的北京冬奧會上，英特爾的3DAT（三維運動員追蹤）技術，就被運用到了冬奧會中。這一技術是基于運動視頻，通過人工智能和計算機視覺的算法，可以從標準的視頻源中提取出運動員的骨骼和肌肉的形狀以及運動的軌跡，重建運動員2D和3D的骨骼運動姿態及軌跡的模型，并且能夠生成生物力學的數據。tCrednc

tCrednc

在建立模型的同時，3DAT技術還能夠輸出運動表現分析。這一技術被運動到了速度滑冰和越野滑雪的運動員訓練，提高了備戰的效率。這一技術也創造性地應用到了冬奧會的開幕式中，基于運行在英特爾第三代至強可擴展處理器之上的3DAT技術，在冬奧會開幕式上的《致敬人民》和《雪花》兩個環節中，實現了演員和鳥巢地面大屏系統完美的實時的互動，給全世界的觀眾留下深刻的印象。tCrednc

總結

“類似的科技向善的例子，今后還會做得越來越多。人工智能的發展離不開生態伙伴的共同努力，英特爾以‘水滴萬物而不爭’的生態之道，積極創造人工智能的生態。我們將不斷地推動智能科技的創新，持續深化產業的合作，用我們的技術與產品來助力基于邊緣智能的發展，為人類創造更多的福祉。”張宇總結道。tCrednc