亚洲色在线无码国产精品不卡,亚洲av综合a色av中文,亚洲国产欧美国产综合一区,亚洲欧美日韩国产综合一区二区 ,亚洲av一般男女在线

返回首頁

網(wǎng)站導航
資訊首頁> 熱點推薦 > 神經(jīng)網(wǎng)絡突變自動選擇AI優(yōu)化算法速度提升50000倍

    神經(jīng)網(wǎng)絡突變自動選擇AI優(yōu)化算法速度提升50000倍

    熱點推薦2018年09月07日
    分享
      機器學習系統(tǒng)并非是“生而平等”的。沒有一種算法能應對所有的機器學習任務,這就讓尋找最優(yōu)的機器學習算法成為一項艱巨又耗時的工作。不過這個問題現(xiàn)在有希望解決了,最近IBM的研究人員開發(fā)了一套能夠自動選擇AI優(yōu)化算法的系統(tǒng)。
      
      IBM愛爾蘭研究院的數(shù)據(jù)科學家Martin Wistuba,在其近日發(fā)表的博客文章中介紹了自己開發(fā)的這套系統(tǒng)。他聲稱,該系統(tǒng)將自動選擇優(yōu)化AI算法的速度提升了5萬倍,錯誤率僅上升了0.6%。
      
      Wistuba表示,這套進化算法系統(tǒng)能將選擇適當?shù)臋C器學習架構的時間縮減至幾個小時,讓每個人都能有條件對深度學習網(wǎng)絡架構進行優(yōu)化。
      
      面向機器學習的神經(jīng)網(wǎng)絡突變算法
      
      該方法將卷積神經(jīng)網(wǎng)絡架構視為神經(jīng)細胞序列,然后應用一系列突變,以找到一種結構,可以提升給定數(shù)據(jù)集和機器學習任務的神經(jīng)網(wǎng)絡的性能。
      
      這種方法大大縮短了網(wǎng)絡訓練時間。這些突變會改變網(wǎng)絡結構,但不會改變網(wǎng)絡的預測,網(wǎng)絡的結構變化可能包括添加新的層、添加新連接或擴展內(nèi)核或現(xiàn)有層。
      
      AI算法
      
      保留原函數(shù)的神經(jīng)網(wǎng)絡突變示例。右側的體系結構是突變后的網(wǎng)絡,但與左側的體系結構具有相同的預測結果(由相同顏色表示)
      
      實驗評估:速度提升5萬倍,錯誤率僅上升0.6%
      
      實驗中,研究人員將新神經(jīng)進化方法與CIFAR-10和CIFAR-100數(shù)據(jù)集上的圖像分類任務的其他幾種方法進行了比較。這些數(shù)據(jù)集通常用于訓練機器學習和計算機視覺算法的圖像集。
      
      與最先進的人工設計架構、基于強化學習的架構搜索方法、以及基于進化算法的其他自動化方法的結果相比,結構突變算法在分類錯誤上稍高出前幾種方法,但耗時要少得多,比其他方法快了50000倍,錯誤率最多僅比基準數(shù)據(jù)集CIFAR-10上的最有力競爭對手高出0.6%。
      
      下圖所示為算法的優(yōu)化過程。在圖2中,每個點代表不同的結構,連接線代表突變。不同顏色所示為每個結構的精度,x軸表示時間??梢钥吹?,準確率在前10個小時內(nèi)迅速上升,之后緩慢上升、最后趨于穩(wěn)定。
      
      深度學習網(wǎng)絡設計的進化算法優(yōu)化
      
      深度學習網(wǎng)絡設計的進化算法優(yōu)化
      
      圖示為隨時間推移,進化算法的優(yōu)化過程
      
      下圖所示為隨著時間的推移,深度學習網(wǎng)絡結構的演變情況。
      
      深度AI學習網(wǎng)絡結構
      
      網(wǎng)絡結構隨時間的演變,圖中某些中間狀態(tài)未顯示
      
      實際上,自動算法選擇并不新鮮。谷歌在智能手機面部識別和目標檢測上也在使用這類方法,如果IBM這一的系統(tǒng)性能確實如其所言,它可能代表著該領域內(nèi)的一次重大進步。
      
      將來,研究人員希望將這種優(yōu)化集成到IBM的云服務中,并將其提供給客戶。此外還計劃將其擴展到更大的數(shù)據(jù)集上,如ImageNet和其他類型的數(shù)據(jù),如時間序列和文本、自然語言處理任務等。
      
      Wistuba將于9月在愛爾蘭都柏林舉行的歐洲機器學習和數(shù)據(jù)庫知識發(fā)現(xiàn)會議(ECML-PKDD)會議上介紹這種方法。

    相關閱讀