每秒可對近20億張圖像進行處理分類的“超級芯片”

受人類大腦的啟發，許多人工智能系統都是基于人工神經網絡實現的，其中生物神經元的電等效物相互連接，使用一組已知數據（例如圖像）進行訓練，然后用于識別或分類新數據點。tXXednc

在用于圖像識別的傳統神經網絡中，目標物體的圖像首先在圖像傳感器上形成，例如智能手機中的數碼相機。然后，圖像傳感器將光轉換為電信號，最終轉換為二進制數據，然后可以使用計算機芯片對其進行處理、分析、存儲和分類。加速這些能力是改進許多應用程序的關鍵，例如人臉識別、自動檢測照片中的文本或幫助自動駕駛汽車識別障礙物。tXXednc

雖然目前在數字芯片上的消費級圖像分類技術每秒可以執行數十億次計算，這使得它對于大多數應用程序來說足夠快，更復雜的圖像分類，例如識別移動物體、3D 物體識別，或微細胞分類身體，正在推動即使是最強大的技術的計算極限。這些技術的當前速度限制是由計算機處理器中基于時鐘的計算步驟時間表設置的，其中計算以線性時間表一個接一個地發生。tXXednc

為了解決這個限制，賓夕法尼亞大學的工程師創建了第一個可擴展的芯片，幾乎可以立即對圖像進行分類和識別。電氣與系統工程副教授 Firooz Aflatouni 與博士后 Farshid Ashtiani 和研究生 Alexander J. Geers 一起，消除了傳統計算機芯片中的四個主要耗時的罪魁禍首：光信號到電信號的轉換，需要用于將輸入數據轉換為二進制格式、大內存模塊和基于時鐘的計算。tXXednc

他們通過使用在 9.3 平方毫米芯片上實現的光學深度神經網絡直接處理從感興趣對象接收到的光來實現這一點。tXXednc

tXXednc

該芯片能夠對包含兩種字符集的圖像進行分類，準確率達到 93.8%，對四種類型的圖像進行分類準確率為 89.8%tXXednc

這項發表在《自然》雜志上的研究描述了芯片的許多光學神經元如何使用光纜或“波導”相互連接，以形成一個由許多“神經元層”組成的深層網絡，模仿人腦。信息通過網絡的各個層，每一步都有助于將輸入圖像分類為其學習類別之一。在研究人員的研究中，芯片分類的圖像是手繪的類似字母的字符。tXXednc

就像我們大腦中的神經網絡一樣，這個深度網絡的設計方式允許快速信息處理。研究人員證明，他們的芯片可以在半納秒內完成整個圖像分類——這是傳統數字計算機芯片在其基于時鐘的時間表上僅完成一個計算步驟所需的時間。tXXednc

“我們的芯片通過我們所謂的‘傳播計算’來處理信息，這意味著與基于時鐘的系統不同，計算是在光通過芯片傳播時發生的，”Aflatouni 說。“我們也跳過了將光信號轉換為電信號的步驟，因為我們的芯片可以直接讀取和處理光信號，而這兩種變化都使我們的芯片成為一種更快的技術。”tXXednc

該芯片直接處理光信號的能力為其自身帶來了另一個好處。tXXednc

“當當前的計算機芯片處理電信號時，它們通常通過圖形處理單元或 GPU 運行它們，這會占用空間和能量，”Ashtiani 說。“我們的芯片不需要存儲信息，不需要大內存單元。”tXXednc

“而且，通過消除存儲圖像的內存單元，我們還增加了數據隱私，”Aflatouni 說。“使用直接讀取圖像數據的芯片，不需要照片存儲，因此不會發生數據泄漏。”tXXednc

一個以光速讀取信息并提供更高程度網絡安全的芯片無疑會在許多領域產生影響；這是過去幾年對這項技術的研究不斷增加的原因之一。tXXednc

“我們不是第一個提出直接讀取光信號的技術，”Geers 說，“但我們是第一個在芯片內創建完整系統的人，該系統既兼容現有技術，又可擴展以處理更復雜的問題。數據。”tXXednc

該芯片具有深度網絡設計，需要進行訓練才能學習和分類新數據集，類似于人類的學習方式。當呈現給定數據集時，深度網絡接收信息并將其分類為先前學習的類別。這種訓練需要達到一種平衡，即足夠具體以產生準確的圖像分類，并且足夠通用以在呈現新數據集時有用。工程師可以通過添加更多神經層來“放大”深度網絡，從而使芯片能夠以更高分辨率讀取更復雜圖像中的數據。tXXednc

而且，雖然這種新芯片將推進當前的圖像傳感技術，但它可以用于各種數據類型的無數應用。tXXednc

“這項技術真正有趣的是，它不僅可以對圖像進行分類，還可以做更多的事情，”Aflatouni 說。“我們已經知道如何將許多數據類型轉換為電域——圖像、音頻、語音和許多其他數據類型?，F在，我們可以將不同的數據類型轉換為光域，并使用這項技術幾乎立即處理它們。”tXXednc

但是當信息以光速處理時會是什么樣子呢？tXXednc

“要了解該芯片處理信息的速度有多快，請參考電影的幀速率，”他繼續說道。“一部電影的播放速度通常在每秒 24 到 120 幀之間。這顆芯片每秒可以處理近 20 億幀！”tXXednc

對于一項具有許多應用的技術，重要的是要在更基礎的層面上了解它的能力和局限性，而 Aflatouni 當前和未來的這項研究計劃將做到這一點。tXXednc

“我們在這項研究中的下一步將檢查芯片的可擴展性以及三維物體分類的工作，”Aflatouni 說。“那么也許我們會冒險進入非光學數據分類領域。雖然圖像分類是該芯片的首批研究領域之一，但我很高興看到它將如何使用它，也許與數字平臺一起使用，以加速不同類型的計算。”tXXednc

該研究論文題為 "An on-chip photonic deep neural network for image classification"，已發表在《自然》期刊上。tXXednc

論文原文：https://www.nature.com/articles/s41586-022-04714-0tXXednc