廣告

每秒可對近20億張圖像進行處理分類的“超級芯片”

2022-06-09 16:23:57 賓夕法尼亞大學 閱讀:
在測試過程中,該團隊制作了一個尺寸為 9.3 mm 2(0.01 in 2)的芯片,并將其用于對一系列類似于字母的手寫字符進行分類。在對相關數據集進行訓練后,該芯片能夠對包含兩種字符集的圖像進行分類,準確率達到 93.8%,對四種類型的圖像進行分類準確率為 89.8%。

受人類大腦的啟發,許多人工智能系統都是基于人工神經網絡實現的,其中生物神經元的電等效物相互連接,使用一組已知數據(例如圖像)進行訓練,然后用于識別或分類新數據點。tXXednc

在用于圖像識別的傳統神經網絡中,目標物體的圖像首先在圖像傳感器上形成,例如智能手機中的數碼相機。然后,圖像傳感器將光轉換為電信號,最終轉換為二進制數據,然后可以使用計算機芯片對其進行處理、分析、存儲和分類。加速這些能力是改進許多應用程序的關鍵,例如人臉識別、自動檢測照片中的文本或幫助自動駕駛汽車識別障礙物。tXXednc

雖然目前在數字芯片上的消費級圖像分類技術每秒可以執行數十億次計算,這使得它對于大多數應用程序來說足夠快,更復雜的圖像分類,例如識別移動物體、3D 物體識別,或微細胞分類身體,正在推動即使是最強大的技術的計算極限。這些技術的當前速度限制是由計算機處理器中基于時鐘的計算步驟時間表設置的,其中計算以線性時間表一個接一個地發生。tXXednc

為了解決這個限制,賓夕法尼亞大學的工程師創建了第一個可擴展的芯片,幾乎可以立即對圖像進行分類和識別。電氣與系統工程副教授 Firooz Aflatouni 與博士后 Farshid Ashtiani 和研究生 Alexander J. Geers 一起,消除了傳統計算機芯片中的四個主要耗時的罪魁禍首:光信號到電信號的轉換,需要用于將輸入數據轉換為二進制格式、大內存模塊和基于時鐘的計算。tXXednc

他們通過使用在 9.3 平方毫米芯片上實現的光學深度神經網絡直接處理從感興趣對象接收到的光來實現這一點。tXXednc

tXXednc

該芯片能夠對包含兩種字符集的圖像進行分類,準確率達到 93.8%,對四種類型的圖像進行分類準確率為 89.8%tXXednc

這項發表在《自然》雜志上的研究描述了芯片的許多光學神經元如何使用光纜或“波導”相互連接,以形成一個由許多“神經元層”組成的深層網絡,模仿人腦。信息通過網絡的各個層,每一步都有助于將輸入圖像分類為其學習類別之一。在研究人員的研究中,芯片分類的圖像是手繪的類似字母的字符。tXXednc

就像我們大腦中的神經網絡一樣,這個深度網絡的設計方式允許快速信息處理。研究人員證明,他們的芯片可以在半納秒內完成整個圖像分類——這是傳統數字計算機芯片在其基于時鐘的時間表上僅完成一個計算步驟所需的時間。tXXednc

“我們的芯片通過我們所謂的‘傳播計算’來處理信息,這意味著與基于時鐘的系統不同,計算是在光通過芯片傳播時發生的,”Aflatouni 說。“我們也跳過了將光信號轉換為電信號的步驟,因為我們的芯片可以直接讀取和處理光信號,而這兩種變化都使我們的芯片成為一種更快的技術。”tXXednc

該芯片直接處理光信號的能力為其自身帶來了另一個好處。tXXednc

“當當前的計算機芯片處理電信號時,它們通常通過圖形處理單元或 GPU 運行它們,這會占用空間和能量,”Ashtiani 說。“我們的芯片不需要存儲信息,不需要大內存單元。”tXXednc

“而且,通過消除存儲圖像的內存單元,我們還增加了數據隱私,”Aflatouni 說。“使用直接讀取圖像數據的芯片,不需要照片存儲,因此不會發生數據泄漏。”tXXednc

一個以光速讀取信息并提供更高程度網絡安全的芯片無疑會在許多領域產生影響;這是過去幾年對這項技術的研究不斷增加的原因之一。tXXednc

“我們不是第一個提出直接讀取光信號的技術,”Geers 說,“但我們是第一個在芯片內創建完整系統的人,該系統既兼容現有技術,又可擴展以處理更復雜的問題。數據。”tXXednc

該芯片具有深度網絡設計,需要進行訓練才能學習和分類新數據集,類似于人類的學習方式。當呈現給定數據集時,深度網絡接收信息并將其分類為先前學習的類別。這種訓練需要達到一種平衡,即足夠具體以產生準確的圖像分類,并且足夠通用以在呈現新數據集時有用。工程師可以通過添加更多神經層來“放大”深度網絡,從而使芯片能夠以更高分辨率讀取更復雜圖像中的數據。tXXednc

而且,雖然這種新芯片將推進當前的圖像傳感技術,但它可以用于各種數據類型的無數應用。tXXednc

“這項技術真正有趣的是,它不僅可以對圖像進行分類,還可以做更多的事情,”Aflatouni 說。“我們已經知道如何將許多數據類型轉換為電域——圖像、音頻、語音和許多其他數據類型?,F在,我們可以將不同的數據類型轉換為光域,并使用這項技術幾乎立即處理它們。”tXXednc

但是當信息以光速處理時會是什么樣子呢?tXXednc

“要了解該芯片處理信息的速度有多快,請參考電影的幀速率,”他繼續說道。“一部電影的播放速度通常在每秒 24 到 120 幀之間。這顆芯片每秒可以處理近 20 億幀!”tXXednc

對于一項具有許多應用的技術,重要的是要在更基礎的層面上了解它的能力和局限性,而 Aflatouni 當前和未來的這項研究計劃將做到這一點。tXXednc

“我們在這項研究中的下一步將檢查芯片的可擴展性以及三維物體分類的工作,”Aflatouni 說。“那么也許我們會冒險進入非光學數據分類領域。雖然圖像分類是該芯片的首批研究領域之一,但我很高興看到它將如何使用它,也許與數字平臺一起使用,以加速不同類型的計算。”tXXednc

該研究論文題為 "An on-chip photonic deep neural network for image classification",已發表在《自然》期刊上。tXXednc

論文原文:https://www.nature.com/articles/s41586-022-04714-0tXXednc

責編:Demi
  • 微信掃一掃
    一鍵轉發
  • 最前沿的電子設計資訊
    請關注“電子技術設計微信公眾號”
  • OPPO被曝測試240W快充,但實際速度不及vivo的200W 爆料稱OPPO正在試產24V10A的240W充電器。對于采用雙電芯三電荷泵設計的電池而言,其理論峰值功率可以達到300W,但目前的USB Type-C接口規范的最高功率為240W,OPPO這次一下子將C口快充做到了“天花板”級別。不過,OPPO和vivo不太一樣,雖然前者測試的是240W快充,但充電策略偏向保守,實際速度可能不如vivo的200W。
  • 字節跳動擴大芯片工程師招聘,已從華為海思、Arm“挖” 近日,有消息稱字節“芯片研發”相關崗位的招聘需求正進一步擴大,并已從華為海思、Arm公司“挖”了不少人。EDN小編在字節跳動官網招聘頁面以“芯片”為關鍵詞進行搜索,發現有31條相關信息……
  • 帶電路板、可玩AR、嵌金剛石,這些錄取通知書科技感十足 伴隨著高考大考的落幕,各大高校目前紛紛寄出獨具特色的錄取通知書,不僅有顏值高,創意新穎的竹子卷軸、錦鳳遞書,還科技感滿滿的“電路板”錄取通知書、摩斯密碼......寄托著對于即將踏進大學校園的學子們的深深祝福和期許。
  • 無需電池即可運行的健康監測可穿戴設備 由加州大學歐文分校的研究人員發明的一種新型自供電手表式健康監測器可以跟蹤佩戴者的脈搏,并與附近的智能手機或平板電腦進行無線通信——無需外部電源或電池。
  • 搶跑3nm制程競賽,三星能否領先臺積電? 藉由比臺積電更早一點開始制造3nm芯片,是否有助于三星獲得顯著優勢還有待觀察,而這也將會是一件有趣的事...
  • Nordic為什么收購嵌入式內存供貨商? 著眼于內存日益成為超低功耗IoT芯片設計的重要組成,挪威半導體大廠Nordic將購并美國嵌入式內存IP供貨商Mobile Semiconductor...
  • 一種新的硬件加速器編程語言 美國麻省理工學院計算機科學與人工智能實驗室(CSAIL)研究人員創建了一種名為“Exo”的新編程語言,用于在硬件加速器上編寫高性能代碼。Exo可以幫助初級性能工程師將簡單程序轉換為復雜程序,以在加速器芯片上運行,從而將程序運算的速度提高幾個數量級。目前,谷歌、蘋果和英偉達的加速器設施均通過加速目標程序的“關鍵子程序”、內核或高性能計算(HPC)子進程來為科學計算和機器學習應用提供動力。而Exo語言有望為這些工作提供更優化的性能。
  • “中國復眼”在技術上和用途上與“中國天眼”相比有何 在已經有全球最大的“中國天眼”的背景下,我國為什么還要打造“中國復眼”?二者在技術原理和用途上又有什么不同呢?
  • 研發人員用3D打印耐溫功率半導體 人們對更耐高溫的電力電子產品的需求是顯而易見的,因為傳統上,電力電子元件的外殼安裝得盡可能靠近發動機,因此應該具有同樣的耐高溫性能。
  • 為打擊以色列間諜軟件,Apple宣布免費推出iPhone新鎖定 為打擊如Pegasus等有針對性的間諜軟件及黑客程序,蘋果計劃在今年晚些時候為其 iPhone、iPad 和 Mac 電腦提供新的“鎖定模式”,并公開承諾繼續改進它。該公司還擴大了漏洞賞金和贈款計劃,以鼓勵對該問題的進一步研究。
  • 研究人員開發出新設計框架,用于構建下一代模擬計算芯片 印度科學研究所 (IISc) 的研究人員開發了一種設計框架,用于構建下一代模擬計算芯片組,與目前大多數電子設備中的數字芯片相比,該芯片組速度更快、功耗更低。
  • 蘋果新款Apple Watch Series 8新增內置傳感器,可監測體 據最新報道稱,由于新的內置傳感器,即將推出的Apple Watch Series 8將能夠告訴佩戴者是否體溫高于正常水平。
廣告
熱門推薦
廣告
廣告
EE直播間
在線研討會
廣告
廣告
面包芯語
廣告
向右滑動:上一篇 向左滑動:下一篇 我知道了
激情亚洲av无码日韩色 嗯嗯~,女生~哦~自慰~啊啊~舒服 国产AV人人夜夜澡人人爽 手机在线看永久av片免费 欧美色播 中年熟妇精品BBBB