中國科學家成功構建並開源深度脈衝神經網路學習框架“驚蜇”

　　中新網北京10月11日電 (記者 孫自法)中國科學院自動化研究所10月11日發佈消息説，該所李國齊研究員與北京大學電腦學院田永鴻教授團隊合作，成功構建並開源了深度脈衝神經網路學習框架(SpikingJelly)，其英文名直譯中文為“尖峰海蜇”，科研團隊遂以與中國傳統二十四節氣之一“驚蟄”同音、近義、形似的“驚蜇”命名中文名稱。

　　“驚蜇”框架可提供全棧式的脈衝深度學習解決方案，支援神經形態數據處理、深度脈衝神經網路構建、替代梯度訓練、人工神經網路轉換脈衝神經網路、權重量化和神經形態晶片部署等功能，並具有簡單易用、擴展性強、超高性能等優勢。

　　“驚蜇”(SpikingJelly)框架的整體結構、示例代碼、倣真速度、生態位以及典型應用。中國科學院自動化所 供圖

　　由中國科學家完成的這項深度脈衝神經網路學習框架研究重要成果論文，近日在國際著名學術期刊《科學》旗下《科學進展》(Science Advances)線上發表。

　　論文共同通訊作者李國齊研究員介紹説，脈衝神經網路被譽為第三代神經網路，其使用更低層次的生物神經系統的抽象，既是神經科學中研究大腦原理的基本工具，又因其稀疏計算、事件驅動、超低功耗的特性而備受計算科學的關注。隨著深度學習方法的引入，脈衝神經網路的性能得到大幅度提升，脈衝深度學習成為新興的研究熱點。

　　“驚蜇”(SpikingJelly)框架中的典型模組。中國科學院自動化所 供圖

　　傳統脈衝神經網路框架更多關注生物可解釋性，致力於構建精細脈衝神經元並倣真真實生物神經系統，並不支援自動微分，無法充分利用圖形處理器(GPU)的大規模並行計算能力，也缺乏對神經形態感測器和計算晶片的支援。為解決這一問題，中國科學院自動化所與北京大學團隊通過合作研究，構建並開源了深度脈衝神經網路學習框架“驚蜇”。

　　在超高性能優勢方面，“驚蜇”充分利用脈衝神經網路的特性，通過計算圖遍歷順序優化、即時編譯、半自動統一計算設備架構代碼生成等技術來加速脈衝神經網路倣真，與其他框架相比可達11倍的訓練加速。第三方獨立社區組織對“驚蜇”和美國、德國、瑞典等多個脈衝神經網路框架進行精細的速度基準測試，結果顯示，“驚蜇”具有最快的倣真速度，比其他框架快10倍以上。

　　“驚蜇”(SpikingJelly)框架的典型應用。中國科學院自動化所 供圖

　　李國齊表示，“驚蜇”框架自2019年冬季一經推出就受到科研同行的關注和廣泛使用，基於“驚蜇”的研究工作成果也大量出版，目前已有超過95篇公開論文使用“驚蜇”框架進行實驗。同時，脈衝神經網路的應用從簡單的數據集分類擴展到人類水準的圖像分類、網路部署、事件相機數據處理等實際應用。這些應用和研究表明，“驚蜇”框架開源，已極大促進脈衝深度學習領域發展。(完)