EDN電子技術設計的讀者們，是否還記得售價數百萬美元的“全球最大AI芯片”？EDN在去年報道過Cerebras推出的這款基于臺積電7nm的第二代產品Wafer Scale Engine，其內核數量增加了2倍多。更多詳細內容：世界上尺寸最大的芯片Wafer Scale Engine發布第二代，售價“數百萬”美元
今日，這家公司又官宣了新消息！
Cerebras Systems公司近日宣布，在基于單個Wafer Scale Engine-2芯片的CS-2系統上訓練了世界上最大的擁有200億參數的NLP（自然語言處理）人工智能模型。這也使得它能夠適應，目前網絡上非常熱門的基于文本創建圖像的OpenAI的120億個參數的DALL-E的神經網絡模型。
Cerebras 在單個芯片上訪問 200 億個工作負載參數
由Cerebras訓練的人工智能模型攀升到一個獨特的、驚人的200億個參數。 Cerebras無需在多個加速器上擴展工作負載就完成了這一操作。 Cerebras的成功對于機器學習至關重要，因為與以前的模型相比，軟件需求的基礎設施和復雜性降低了，顯著降低了原本需要數千個GPU 訓練的成本（以及相關的硬件和擴展要求），同時消除了在它們之間劃分不同版本模型的技術困難。
“Wafer Scale Engine-2”的制程工藝由臺積電16nm工藝提升到了7nm工藝，基于一整張12英寸的晶圓制造，面積是462.25平方厘米，相當于市面上數百種高級芯片，擁有2.6萬億個7納米晶體管。 除了晶圓和晶體管外，Wafer Scale Engine-2還包含85萬個核心和40 GB集成緩存，，內存帶寬由9PB/s提高到了20PB/s，結構帶寬高達220PB/s，功耗為15kW，各項指標均打破首代WSE 處理器創造的世界紀錄。
CS-2大幅降低超大規模的人工智能模型訓練門檻
資料顯示，OpenAI 的 GPT-3 是一種 NLP 模型，可以編寫有時可能會欺騙人類讀者的整篇文章，具有驚人的 1750 億個參數。DeepMind 的 Gopher 于去年年底推出，將這個數字提高到 2800 億。Google Brain 的大腦甚至宣布訓練一個超過萬億參數的模型 Switch Transformer。
如果將CS-2所達成訓練200億參數的NLP人工智能模型的成就與上述更大規模的人工智能模型相比，CS-2的成就似乎平淡無奇。但是，事實上，CS-2大幅降低超大規模人工智能模型訓練門檻。
Cerebras的成就是特別重要的，因為研究人員將發現，他們將能夠在新的Wafer Scale Engine-2上計算和創建逐漸精細的模型，而其他人不能。
大量可行參數背后的技術使用了該公司的Weight Streaming技術，允許研究人員“解耦計算和內存占用，允許內存擴展到存儲AI工作負載中快速增長的參數所需的任何數量。” 反過來，設置學習所需的時間將從幾個月減少到幾分鐘，只需要幾個標準的命令，允許在GPT-J和GPT-Neo之間完美切換。
-
微信掃一掃
一鍵轉發 -
最前沿的電子設計資訊
請關注“電子技術設計微信公眾號”
- 網傳：iPhone 14系列是有史以來蘋果做出最大調整的系列 據EDN電子技術設計引援外媒igeekphone的消息，今年的iPhone 14 Pro或將會新增一款全新的配色——古銅色，并放出了該配色的渲染圖。該消息一出立刻登上熱搜。
- 受螢火蟲啟發，麻省理工研發出發光昆蟲型機器人 受螢火蟲的啟發，MIT研究人員創造了昆蟲型的機器人，它們可以在飛行時發光，從而實現運動跟蹤和通信。
- MIT工程師設計“樂高”型AI芯片，可堆疊和可重新配置 麻省理工學院的工程師已經朝著模塊化愿景邁出了一步，他們采用了類似樂高的設計，可堆疊、可重新配置的人工智能芯片。
- 高容量鋰離子電池陰極能量損失的原因 一個來自法國、美國和瑞士的 Skoltech 的國際團隊，發現了高容量鋰離子電池陰極能量損失的原因。研究成果發表在《自然材料》雜志上。
- 石墨烯有助金屬電極和二維材料的轉移印刷 中國科學院、湖南大學、香港城市大學和復旦大學的研究人員最近開發了一種新技術，可以更有效地在二維材料上轉移金屬電極，從而開發出更可靠的金屬-半導體結。這項技術發表在Nature Electronics上。
- 拆解華為新機暢享50：處理器是華為堆疊技術試驗品？ 在本月初的華為發布會上，官方一直不透露暢享50手機芯片的具體型號和主頻，官網也僅說明這是八核芯片。即便是手機設置，也只寫了Octa core字樣，同樣沒有明確說明芯片型號。越是神秘越是能引起消費者的好奇心理，這個八核處理器到底是哪個處理器呢？
- 俄羅斯ATM機明年上市，自研的Elbrus處理器落后X86十年？ 據EDN電子技術設計報道，BFS 首席執行官兼共同所有人 Artem Zhilonov 日前宣布，計劃于2023年2月至3月首次交付俄羅斯自己研發的ATM機，所有自動取款機都將配備Elbrus處理器。
- 芯海：信號鏈MCU新標桿——SmartAnalog系列 6月17日，在AspenCore舉辦的“全球MCU生態發展大會”上，芯?？萍几呒壆a品經理王偉發表了“信號鏈MCU新標桿：SmartAnalog系列”主題演講。
- 高通基于ARM處理器的性能，還要幾年才能趕上蘋果M系列芯 據EDN電子技術設計了解，Strategy Analytics在最新發布的報告中表示，蘋果M1芯片的推出，奠定了其領先競爭對手的基礎，而迄今為止，蘋果最接近的競爭對手是高通公司，但目前后者還沒有推出能與M1抗衡的產品，因此Strategy Analytics的一位分析師認為，蘋果在基于ARM的處理器市場上有長達3年的領先優勢。
- 比亞迪能否靠iTAC技術離開博世ESP？為時尚早！ iTAC是隨著海豹的上市同步發布的一項新技術，intelligent Torque Adaptive Control的縮寫，意思是牽引力智能控制。
- 愛普特：基于RISC-V內核打造全國產高可靠32位MCU 6月17日，在AspenCore舉辦的“全球MCU生態發展大會”上，愛普特微電子副總經理袁永生發表了“基于RISC-V內核打造全國產高可靠32位MCU”主題演講。
- 電源器件集成碳化硅(SiC)?MOSFET技術，性能與功率密度 電源應用正轉向更小占位面積、更高效率的解決方案；為提高功率密度，讓器件能夠放進更小的封裝里，SiC是用來取代硅材料電源分立器件和模塊的理想候選技術。
- 拆解索尼LinkBudsS真無線降噪耳機，新型集成處理器V1芯片 耳機搭載了新型集成處理器V1芯片，提供了強大的降噪處理能力。支持AI智能降噪功能，自動檢測身處的降噪場景，自動
- 拆解iQOO9Pro：不僅是配置堆料 iQOO9Pro在發布時就被稱之為“全能旗艦”，官方更是總結七大看點：2KE5超視網膜屏、超聲波3D廣域指紋、全新一代
- 如何看待理想L9的發布？ 理想L9的發布很熱鬧，我其實想做兩個事情，一個是探討這個車的本身市場屬性，還有一個是探討這車的座艙和智能駕駛
- HDI的盲孔設計，你注意到這個細節了嗎？ HDI（High Density Interconnection）高度互連PCB的英文縮寫，是在傳統多層線路板制造技術基礎上，通過高密度微細布
- 互調失真是如何發生的 生活和工作總是有不可調和的時候，忙碌的日子找不到時間去總結學習，今天分享一篇翻譯的文章——HowdoesIntermo
- 拆解Nekmit16W雙口充電器 充電頭網拿到了一款Nekmit品牌的雙口充電器，這款充電器支持雙USB-A口輸出，總輸出為5V3.1A，任意接口均支持5V2.4
- 拆解梅賽德斯-奔馳V-CLASS前裝36W充電器 奔馳全稱梅賽德斯-奔馳（Mercedes-Benz），說起這個德國汽車品牌相信大家都不陌生，和BMW寶馬一樣都是中國人傳統觀
- 比亞迪要給特斯拉供應電池？產品能做成啥樣？ 前幾日比亞迪和特斯拉兩大流量明星碰在一起，比亞迪集團執行副總裁廉玉波在接受媒體采訪時表示，“我們現在跟埃
- 拆解努比亞Z40Pro，內部中規中矩 努比亞Z40 Pro也算是較早一批的搭載驍龍8Gen1處理器的手機，等效35mm焦距的索尼IMX787的6400萬像素主攝尤為突
- 福特Mach-e召回，到底是哪里出了問題？ 最近福特已告知其經銷商停止銷售MustangMach-E，并因安全問題召回了近50,000輛，全面召回影響了2020年5月27日至
- 以紅旗E-QM5為例，談基于國產交換芯片的網關控制器開發 1前言隨著汽車上控制器的數據量逐漸增多，控制器之間的數據交互量呈指數增加，原來500kbit/s傳輸速度的CAN數據
- 國產LTCC微流道集成T/R組件的設計與實現 ??為快速推進低溫共燒陶瓷（LTCC）材料的國產化進程，推動自研LTCC材料早日投入應用，以某型國產LTCC材料為基礎設
- N32 MCU新成員N32G430，創Arm Cortex-M4F業內性價比新標桿 6月8日，國民技術正式發布N32 MCU新成員N32G430，該系列產品以32位高性能Arm Cortex-M4F為核心，高達128MHz主頻、
- 瓴盛科技第二顆重量級芯片平臺發布：4G智能手機芯片平臺JR510 4G智能手機SoC的推出，標志著瓴盛科技移動通信領域賽道已正式成型，產品矩陣更豐富完善。
- 芯原圖像信號處理器IP獲得IEC?61508工業功能安全認證 公司首個獲得國際功能安全標準雙認證的IP，面向汽車和工業領域對功能安全要求嚴苛的應用
- 新品發布 | MK1620高性能雙通道LLC同步整流控制器 隨著節能法規越來越嚴苛，用戶對產品要求越來越挑剔，電源開發工程師在不斷地向高頻率、高功率密度、高效率方向
- Arasan宣布推出第二代CAN?IP Arasan宣布即刻起提供CAN 2.0和CAN FD規范的第2代CAN IP。該控制器經過重新架構和升級，可降低功耗和面積，使其
- 基于架構創新，后摩智能點亮業內首款存算一體大算力AI芯片 5月23日，后摩智能宣布，其自主研發的業內首款存算一體大算力AI芯片成功點亮，并成功跑通智能駕駛算法模型。
- 芯原芯片設計流程獲得ISO 26262汽車功能安全管理體系認證 可提供滿足各類汽車安全完整性等級的芯片設計服務，擴大芯原在汽車電子領域的競爭優勢
- AMD?推出了基于其?Kria?FPGA?模塊的機器人入門套件,提供原生 AMD?推出了基于其?Kria?FPGA?模塊的機器人入門套件，售價?349?美元，交付周期為?20?周。這是?Kria?自
- ZLG致遠電子開發者社區“Z站”正式發布，工程師的“新大陸” 無論你是技術開發工程師，還是渴望與同行交流的電子興趣愛好者，想必都期盼集自由、智能、資源和內容于一身的開
- 32款車規級40~150V N溝道JSFET廣泛應用于汽車市場 隨著汽車智能化及輔助駕駛 (ADAS) 的普及，激發了對電子元器件的巨大增量需求；電動化和車聯網趨勢，使越來越多傳
- Magnetic induction無線充電于電動車應用 手機無線充電普及后，有更多人關注電動車充電是否也可以走向無線化，而相關技術已經有多家廠商投入開發多年，早期
- 史密斯英特康推動醫療市場的價值革命，降低生產成本和客戶的擁有成 史密斯英特康實現了在醫療領域的全新突破，即在不影響救治生命的重要醫療器材質量的前提下，大大降低了醫療部門
