中國有句古話，眼觀六路，耳聽八方，敏銳的觀察和感知能力是人類智慧的基礎。傳統的攝像頭只有感知功能，并不能理解圖像所描述的人和事物。計算機視覺利用人工智能（AI）讓智能攝像頭等設備變得聰明，可以解釋和理解圖像中發生的事情。通過科技重新打造一個與人眼一樣強大的傳感器，為計算機執行以往需要人類視覺才能進行的任務，開啟了廣泛而多樣的用例，因此計算機視覺正迅速成為物聯網獲取真實世界數據并處理數據的最重要方式之一。
從計算停車場的汽車數量，到監控零售商店的客流量，或是找出生產線上的瑕疵品，智能攝像頭的計算機視覺功能正被應用于廣泛的商業與工業場景中。在家中，智能攝像頭可以告訴我們包裹何時己送達、小狗是否從后院溜了出去，或是嬰兒何時醒來等待呵護。
智能攝像頭技術在商用與消費市場的應用正呈現指數級增長。根據市場調研與戰略咨詢公司Yole Développement在2020年發布的《用于監控與安全用途的攝像頭與計算》報告，全球僅用于監控的攝像頭約有10億臺，預計到2024年，這一數字有望翻倍增長。
這項技術在安全性、異構計算、圖像處理與云服務等方面有了長足的進展，讓未來的計算機視覺產品能具備更勝以往的能力。
智能攝像頭的安全性是計算機視覺的首要考量
物聯網的安全性是科技行業的重中之重但又極具挑戰。確保所有物聯網設備不被惡意人士所利用至關重要，特別是當這些設備已經獲取并存儲了與人、地點及高價值資產有關的圖像數據。
未經授權訪問負責監控工廠、醫院、學?；蚣彝サ闹悄軘z像頭的數據，不但嚴重侵犯了隱私權，也可能導致密謀犯罪、機密數據外泄等難以估量的傷害。智能攝像頭遭到破解的同時也會提供一個破口，讓惡意人士可以訪問網絡內諸如門禁、暖氣與照明控制等其它設備，甚至控制整個智能工廠。
我們需要能夠信任智能攝像頭來維護所有人的安全，而不是為隱私侵犯另辟新徑。Arm堅信物聯網安全的重要性，多年來在此領域持續開發和創新，通過包括適用于Cortex®-A與Cortex®-M的Arm TrustZone等產品組合令最終客戶可以放心部署從云到端的物聯網應用。
在未來，基于Armv9架構的智能攝像頭芯片，將通過Arm機密計算架構（Confidential Compute Architecture, CCA）進一步強化計算機視覺產品的安全性。
除此之外，Arm也持續推動安全性最佳實踐的共同標準，如PSA Certified與PARSEC等。這些標準旨在確保未來所有智能攝像頭都能具有內置安全性：從圖像傳感器首次進行場景錄像到存儲數據，無論數據是存儲在本機上或是利用先進的安全與數據加密技術存儲在云端。
終端AI驅動智能攝像頭的計算機視覺
圖像傳感器技術與邊緣AI的結合能讓智能攝像頭通過大量獲取計算機視覺的數據，進行日益復雜的推理。智能攝像頭內的新機器學習能力可以滿足多樣化的用例，例如探測人或動物、辨識特定物件，以及讀取車牌號碼。這些計算機視覺的應用都需要在終端設備運行機器學習（ML）算法，而不是把數據送到云端進行推論處理。分布式算力是數據時代的大趨勢，將計算能力移至距離數據更近的地方可以提高決策速度，降低帶寬成本并更好地維護數據安全。
例如，在繁忙的十字路口部署一臺智能攝像頭，通過計算機視覺可以確認一天中各時段等待紅燈的汽車數量與類型，再利用設備本身的ML功能來處理數據并進行推論，在不需要人為干預的情況下，智能攝像頭便可以自動調整它的時序，從而自動減少交通擁堵并限制排放的增加。
Arm針對AIoT和邊緣智能的投資體現在我們日益壯大的AI合作生態系統，Arm架構對矢量計算的支持，各種AI框架模型在Arm處理器上的優化，以及Ethos機器學習加速器產品線的普及。Arm Ethos產品系列是具備高度可擴展性與高效的NPU，它通過多核心技術，可支持每秒從0.1到10 TOP。同時，Arm也積極尋求與第三方加速器的整合，使AI、多媒體處理更簡易高效地運行在Arm架構的芯片產品上。軟件在ML領域扮演極其重要的角色，通過Arm NN SDK與TensorFlow Lite for Microcontrollers（TFLM）開源框架，Arm持續不斷地支持開源社區和與其他生態伙伴的合作。
這些機器學習工作負載框架是基于現有的神經網絡以及高效的Arm Cortex-A CPU、Mali™ GPU、Ethos NPU與Arm Compute庫以及CMSIS-NN。
通過第二代可伸縮矢量擴展（SVE2），Armv9架構能提供簡單易用的向量計算（可以平行計算的個別數據組），支持強化的AI功能。如此一來，開發者不用重寫或重新編譯代碼，就能直接擴充硬件向量長度。在未來，矩陣乘法的擴展（強化ML的要素之一）將進一步推動AI的發展。
與云互連的智能攝像頭
云與邊緣計算也有助于加速智能攝像頭的采用。傳統的CCTV架構通過網絡錄像機（NVR）或數字錄像機（DVR）將攝像頭的數據存儲于本機。這種模式有許多的限制，包括需要龐大的存儲空間以及每臺NVR上有限的實體連接端口數量。
遷移到云原生的模式可大幅簡化智能攝像頭的部署：任何數量級的攝像頭都可以通過下載到設備的配置文檔進行配置與管理。這也是一種良性循環：來自智能攝像頭的數據可以針對特定的用例來訓練存儲在云上的模型，從而使攝像頭更加智能，當攝像頭變得更智能，它們需要上傳的數據量就會越小。
云計算的使用也能結合來自多臺智能攝像頭的計算機視覺數據，通過AI傳感器融合實現流程自動化。以我們剛剛提到的部署在十字路口的智能攝像頭為例，云AI算法可以對來自多臺智能攝像頭的數據進行綜合分析，不斷地調整整個城市里的交通信號燈時序，進而保持交通暢通。
Arm支持從云到終端所需的連續處理能力：Cortex-M微控制器與Cortex-A處理器驅動智能攝像頭，Cortex-A處理器驅動邊緣網關，云與邊緣服務器則利用了Neoverse平臺的能力。
智能攝像頭的全新軟硬件需求
計算機視覺設備的計算需求每年持續增長，超高分辨率的視頻獲?。?K 60fps）與64位（Armv8-A）的處理能力是目前高端智能攝像頭產品的標準。
因此，下一代智能攝像頭的SoC必須采用異構架構，結合CPU、GPU、NPU與專屬的硬件，實現計算機視覺、圖像處理、視頻編解碼等功能。
存儲也是另一個關鍵的技術難點：盡管終端AI可以在攝像頭本地處理圖像，以降低存儲的需求，但許多用例仍需要將數據保存在某個地方（無論是設備本機上，或是邊緣服務器或云上）以確保安全。
為了確保能妥善存儲高分辨率的計算機視覺數據，H.265和AV1等新的視頻編解碼標準正在成為業界公認的標準。 H.265與AV1等
新的應用場景驅動持續創新
總而言之，來自新應用場景的需求正在推動對于計算與圖像技術全面持續改善的需求。新一代的CCTV攝像頭等圖像獲取設備已是今非昔比，它們所產生的已不再是一張張難以辨識面容的粗糙圖像。計算機視覺的進步——效率更高、功能更強大的計算結合AI與ML的智能——讓智能攝像頭不僅只是圖像傳感器，而是可以像人類的眼睛一樣理解圖像，通過所見所聞了解認識世界。連接模擬與數字世界的橋梁正開啟我們過去曾覺得難以置信的全新應用場景。
– 完 –
關于Arm
作為計算及數據革命的核心，Arm技術正改變著人們生活及企業運行的方式。Arm低功耗處理器設計和軟件平臺已應用于超過2,150億顆芯片的高級計算，Arm的技術安全地為電子設備提供支持，覆蓋從傳感器到智能手機乃至超級計算的多樣化應用。Arm攜手超過1,000家技術合作伙伴，為從芯片到云端的AI增強型互聯計算的所有領域提供設計、安全和管理方面的技術，并在該技術領域處于業界領先地位。
所有信息都「依目前情況」提供，且并不帶保證或代表性。此一文件可以自由分享，但不得修改且必須注明出處。Arm是Arm Limited(或其子公司)的商標或注冊商標。所有其他品牌或產品名稱乃為所屬個別公司之財產。© 1995-2022 Arm Group?
作者：Arm物聯網兼嵌入式事業部副總裁Mohamed Awad，Arm物聯網兼嵌入式事業部業務拓展副總裁馬健
-
微信掃一掃
一鍵轉發 -
最前沿的電子設計資訊
請關注“電子技術設計微信公眾號”
- 具有擴展范圍的電容數字轉換器 電容傳感器廣泛用于各種工業應用，例如液位監測、壓力測量、位置檢測、流量計、濕度檢測等。ΣΔ?(Sigma-Delta)電容數字轉換器(CDC)用方波激勵未知電容，并將產生的電荷轉換成單位數字輸出流。然后，由數字濾波器處理位流，輸出精確的低噪聲電容測量值。
- 雷達傳感器如何顯著提高智能家居的能源效率 智能家居應用和連接設備的數量不斷增長，用戶的日常生活越來越方便。但是，這卻導致了高能耗，因為即使無人在場，這些設備通常也處于長期活躍或待機模式，以便隨時投入使用。
- 拆解：蘋果AirTag追蹤器 有人猜到這次要拆解什么產品嗎？當然是蘋果的AirTag追蹤設備。既然之前都已經拆解了Tile Mate，當然也只有對AirTag進行同樣的檢查才算公平，對吧？
- 傳感器技術在構建實時監控系統中的作用 無線傳感器技術正在成為一個有前途的概念，這對每個虛擬市場都有重大影響。隨著需要更快計算處理的數據密集型應用的數量增加，對實時監控系統的需求呈指數增長。盡管傳感器節點的需求隨著應用的規模而擴大，但終端設備卻已通過對智能傳感器的高效建模不斷改進數據處理。
- 利用熱能和振動能為IoT設備供電 熱量作為來自發動機、機器和其他來源的浪費副產物通常很容易獲得。熱梯度采集是捕獲環境熱量并將其投入使用的過程。在利用環境現象獲取能量的眾多方法中，利用壓電器件將振動轉化為電能的方法似乎特別有效，根據尺寸和結構，它能夠產生數百微瓦的電能。
- 自動駕駛汽車需要看到并聽到即將發生之事 在嚴重交通事故等緊急情況下，需要分秒必爭，而且充分寬敞的救援車道還可能決定生死。如果駕駛人能夠聽到警鈴聲，為什么自動駕駛汽車不能也這樣做呢？
- 壓電發聲器驅動器如何在更寬廣的電池電壓范圍內提高聲 本文討論的內容為：為了提供必要的驅動電壓，對電路有哪些要求；以及相較于電荷泵為基礎的方式，以電感器為基礎的升壓轉換器，如何在更廣的電池電壓范圍內，提供更高的輸出電壓（因而產生更響亮的聲音）。
- 用于自動駕駛的光學雷達技術：科幻小說變成科學現實 許多人都夢想可以輕易穿梭往來不同的地方，這個夢想在影集“霹靂游俠”(Knight?Riders)中的人工智能霹靂車“伙計”(K.I.T.T.)或電影“第五元素”(The?Fifth?Element)中的車輛上得到了充分體現?，F代的汽車越來越接近這些未來愿景，而各式各樣的傳感器技術在其中扮演著重要角色，其中最具潛力的技術是：光學雷達(lidar)。
- vivo X Fold首拆：30萬次無折痕是如何實現的？ vivo終于也進軍到了折疊屏市場，并特別強調其全新折疊旗艦vivo X Fold，德國萊茵測試顯示折疊30萬次后，折痕依舊控制得極好。為了研究vivo X Fold鉸鏈結構的獨特設計，享拆第一時間拆解了這款手機，那我們就來一拆究竟！
- 如何通過濾波消除模數轉換中的噪聲 機械過濾器很容易在暖通空調系統和飲水機中以及汽車引擎蓋下找到。幾個月后更換空氣過濾器，才發現有多少雜質漂浮在周圍直到堵塞而未被注意到。這就提出了一個問題：電子信號會變臟嗎？噪聲來自模擬電路，因此也就是將信號處理轉到數字的重要原因。
- 德國新型壓力傳感器使用SiC可工作在600°C高溫 柏林 Fraunhofer IZM的研究人員開發了一種壓力傳感器，該傳感器使用碳化硅 (SiC) 可在高達 600°C 的溫度下工作。該傳感器最初旨在微調噴氣渦輪機的燃燒過程，以減少飛機和
- 使用BLDC電機助力機械掃描激光雷達實現360度視場 激光雷達系統的視場?(FOV)?決定了激光雷達能夠捕捉到的圖像的寬度，因此該視場對于自動駕駛決策算法十分重要。擴大FOV的方法有很多種，其中之一就是利用機械掃描，使用電機幫助實現360度FOV。無刷直流?(BLDC)?電機可以實現此目標，且高效低噪，因此廣受歡迎。
- 拆解蘋果90W電源適配器 蘋果Cinema HD Display 90W Power Adapter是一款顯示器的外接電源，這款電源具備24.5V，3.7A輸出，用于為配套的顯
- 比亞迪海豚的熱泵和熱管理系統 從設計思路上，這套熱管理系統類似特斯拉集成化的閥島方案，對冷媒回路大規模集成，閥島結構把制冷劑回路大部分控
- 索尼WH-1000XM5頭戴式降噪耳機公布，V1+QN1雙處理器，支持空間音頻聽 我愛音頻網消息，2022年5月13日，索尼正式公布了WH-1000XM5頭戴式降噪耳機。耳機的外觀與我愛音頻網此前在4月份
- 微源LP5305A保護IC和LP6261A升壓芯片獲黑鯊鳳鳴真無線耳機降噪版 近期，我愛音頻網為大家分享了黑鯊鳳鳴真無線耳機 降噪版的拆解報道。通過拆解了解到，其充電盒內部搭載了微源
- 拆解報告：蘋果3米雷電4Pro數據線 雷電接口支持高清視頻傳輸和高速數據連接，已經成為蘋果電腦的標配，充電頭網已經拿到了這款3米長的雷電4 Pro數
- 又一款真香產品！評測小米生態鏈企業酷科65W氮化鎵快充頭 近期充電頭網收到了酷科的新品65W充電器，這同樣是一款相當小巧的充電器，簡約大方的外形下性能如何？下面還是通
- 拆解報告：酷科65WPD快充氮化鎵充電器 近期酷科推出了一款65W氮化鎵快充新品，功率密度高達1.06W/cm3，小巧便攜，可為手機、筆電等設備快充，居家辦公、
- 光瑞實業推出500W太陽能板，大功率戶外電源優秀搭檔 在露營娛樂與災備應急等需求帶動下，全球戶外電源市場持續火爆，也帶動了太陽能充電板的熱銷。太陽能充電板與戶
- 蘋果正式向MFi配件商收取99美元年費，繳費流程簡介 蘋果制定出 MFi 認證體系，第三方配件品牌想要推出兼容性穩定的蘋果設備配件，就必須采用蘋果 MFi 認證零部件。
- 芯?？萍?021財報十大亮點解讀，總營收同比增長81.67% 近五年來芯?？萍紝崿F逐年營收不斷攀升，本篇文章我愛音頻網帶領大家看看芯?？萍寄甓蓉攬蟮氖罅咙c，進一步了
- 谷歌收購MicroLED顯示屏公司Raxium，將打造性能更強的AR設備 我愛音頻網消息，近期，谷歌收購擁有MicroLED顯示屏技術的初創公司Raxium，有意利用Raxium的技術打造性能更強的新
- 德國亞馬遜2022年5月太陽能板榜單 這次充電頭網為大家整理一下近期德國亞馬遜的太陽能板榜單，德國Amazon亞馬遜平臺有一個“BestSellers”榜單，
- 基于架構創新，后摩智能點亮業內首款存算一體大算力AI芯片 5月23日，后摩智能宣布，其自主研發的業內首款存算一體大算力AI芯片成功點亮，并成功跑通智能駕駛算法模型。
- 芯原芯片設計流程獲得ISO 26262汽車功能安全管理體系認證 可提供滿足各類汽車安全完整性等級的芯片設計服務，擴大芯原在汽車電子領域的競爭優勢
- AMD?推出了基于其?Kria?FPGA?模塊的機器人入門套件,提供原生 AMD?推出了基于其?Kria?FPGA?模塊的機器人入門套件，售價?349?美元，交付周期為?20?周。這是?Kria?自
- ZLG致遠電子開發者社區“Z站”正式發布，工程師的“新大陸” 無論你是技術開發工程師，還是渴望與同行交流的電子興趣愛好者，想必都期盼集自由、智能、資源和內容于一身的開
- 32款車規級40~150V N溝道JSFET廣泛應用于汽車市場 隨著汽車智能化及輔助駕駛 (ADAS) 的普及，激發了對電子元器件的巨大增量需求；電動化和車聯網趨勢，使越來越多傳
- Magnetic induction無線充電于電動車應用 手機無線充電普及后，有更多人關注電動車充電是否也可以走向無線化，而相關技術已經有多家廠商投入開發多年，早期
- 史密斯英特康推動醫療市場的價值革命，降低生產成本和客戶的擁有成 史密斯英特康實現了在醫療領域的全新突破，即在不影響救治生命的重要醫療器材質量的前提下，大大降低了醫療部門
- 中移物聯網聯合上研院推出快速定位服務，助力智慧物聯網發展 發揮中國移動專業公司技術優勢，加強專專聯合，中移物聯網與中國移動上海產業研究院（上研院）成立定位服務聯合攻堅
- 希荻微推出高性能電荷泵芯片HL7139 快充芯片專業廠商希荻微電子(Halo?Microelectronics)，推出了適用于大容量鋰電池快充的電荷泵芯片HL7139。HL
- 如何選擇高功率無線充電方案 無線充電已大量普及于手機產品，以兼容qi規格為主其無線充電功率為5W，部分產品充電功率擴展到15W以上，實際應用
- 國產通用MCU再添新力量-先楫半導體重磅推出HPM6300系列—— 高性 業界新銳MCU廠商先楫半導體宣布 2022年5月正式推出 HPM6300系列，這是繼去年11月 發布全球性能最強RISC – V
-
改變智能芯片版圖的黑科技-GDDR6/6X Combo IP
前言
不久前，芯動科技Innosilicon推出的“風華1號”高性能GPU引起了市場高度關注，160-320G Pixel/s渲染、5-1
