索尼通過分布式學習刷新全球深度學習技術速度 助力高效開發人工智能-
日本 2018年11月13日 –人工智能橋接云基礎設施(ABCI)是用于AI處理的世界級計算基礎架構,由日本產業技術綜合研究所(AIST)建造并 運營。索尼公司近日宣布,已利用 ABCI和其深度學習開發框架“核心庫:神經網絡庫”,刷新了全球深度學習技術速度。
深度學習是一種使用模仿人腦神經網絡的機器學習方法。通過利用深度學習,近年來圖像和聲音識別能力得以迅速增長,甚至在某些領域的表現已優于人類。 然而,由于用于學習的數據和用于提高識別準確度的模型參數不斷加大,導致計算時間不斷增多。 在某些情況下,進行一次學習需要數周甚至數月時間。由于AI開發是一個需要連續試錯的過程,縮短學習時間至關重要。因此,目前使用多個GPU縮短學習時間的分布式學習是一種普遍的解決方案。
當增加用于分布式學習的GPU數量時,有時批量數據的增加(一次要處理的數據量)會讓學習過程暫停,或出現由于GPU之間的數據傳輸處理延遲導致學習速度降低等情況。通過利用可確定合理數據批量大小和適當GPU數量的技術,索尼實現了在ABCI等大規模GPU環境中進行學習,并提高了通過針對ABCI系統結構優化的數據同步技術而實現的GPU之間的傳輸速度。這些技術被運用于“神經網絡庫”中,并使用AIST的“ABCI Grand Challenge”ABCI計算資源進行學習。因此,它能夠在大約3.7分鐘內(當使用多達2,176個GPU時)完成ImageNet / ResNet-50 (用于測量深度學習分布式學習速度的一般行業基準),刷新了全球深度學習技術速度。點擊查閱該項研究結果。
該實驗的結果表明,使用神經網絡庫進行的學習或執行(深度學習)可以刷新全球深度學習技術速度,并且通過使用這一框架,可在更短試驗期間內,使用深度學習進行技術開發。展望未來,索尼將繼續開發相關技術,并致力于利用人工智能技術為社會發展做貢獻。