查看: 543|回復: 9|關注: 0
打印 上一主題 下一主題

[未答復] 深度極限學習機的研究筆記

[復制鏈接]

新手

5 麥片

財富積分


050


2

主題

17

帖子

0

最佳答案
跳轉到指定樓層
1#
發表于 2019-8-31 21:53:25 | 只看該作者 回帖獎勵 |倒序瀏覽 |閱讀模式
深度極限學習機(DELM)目前主要含兩種基本結構:1、利用傳統深度學習框架(主要是堆棧自動編碼器,或者是深度置信網絡)進行數據的深度自適應特征提取,而后將獲得的特征輸入至極限學習機及其變種中進行分類或回歸;2、利用極限學習機與自動編碼器相結合,形成極限學習機-自動編碼器(ELM-AE),結構如圖1,將ELM-AE作為無監督學習的基礎單元對輸入數據進行訓練與學習,并保存ELM-AE由最小二乘法獲得的輸出權值矩陣用于堆棧多層極限學習機(ML-ELM)。



                                                                                         圖1 ELM-AE結構

       關于第一種深度極限學習機,可改進的地方較少,大部分人就是將不同的深度學習方法與不同的極限學習機變種進行結合,方法較為簡單。我們今天就說說第二種深度極限學習機,后文所述的深度極限學習機默認是第二種。

       和其他深度學習相比,深度極限學習機無需微調,ELM-AE與最終的DELM分類層(或回歸層)均采用最小二乘法且只進行一步反向計算得到更新后的權重,因此顯著特點是速度快。缺點也很明顯,第一,ELM-AE的輸入層權值與偏置依舊是隨機生成,且不進行反向調整,因此DELM的精度ELM-AE輸入權值的影響;第二,采用多隱含層結構的DELM,各層節點數對最終精度有著較大影響;第三,采用最小二乘法進行輸出權值一步更新,在樣本數較少時比較方便,當處理大樣本問題時(比如MNIST),在計算Moore偽逆的時候極大地增加了計算時間與復雜度,并且特別容易出現欠擬合。目前已有的文獻基本上就是根據上述幾個缺點進行模型的優化改進,比如針對缺點一,丁教授等人提出權值不確定性深度極限學習機與拉普拉斯多層極限學習機,主要是對ELM-AE的基礎結構進行了改進。針對問題2,主要就是采用各種優化算法,比如遺傳、粒子群、蝙蝠、物體碰撞等對深度極限學習機各層節點數進行優化選擇,最終精度與優化算法也有關。針對問題3,就是采用最小二乘法的變體進行輸出權重的更新,比如借鑒在線序列極限學習機思想,該方法可以將樣本以塊為單位或以個為單位輸入進ELM-AE與DELM進行權值調整,這就避免了一次輸入所有樣本帶來的計算問題。

        下面分別來看看不同的算法的結果。

         1、最原始深度極限學習機

         數據 USPS,兩隱含層



三隱含層

        2,權值不確定性深度極限學習機

        結果基礎上與上面的一致就不貼圖了。

        3,粒子群優化



經過10次迭代優化獲得的各層節點數就能獲得98%的分類精度

4、對ELM-AE進行結構改進,引入小波基函數,稀疏系數,L2正則化,形成深度小波極限學習機



采用的morlet母小波,正則化和稀疏系數都沒用到,節點數是經過優化后保存下來的參數,可能有點過擬合,不過還能接受

5、對ELM-AE進行算法優化,結合遞歸最小二乘法與woodbury公式,形成批訓練。將數據進行分塊訓練,大大降低了大樣本直接輸入的偽逆矩陣的求取問題,能夠明顯提高模型的精度與泛化能力

基于相同的結構對mnist進行測試,這里結構是隨便選擇的



將數據分為600塊,每塊100個樣本,3層深度小波極限學習機所耗時間為127s。最終精度為84%





將數據分為1塊,就是不進行分塊處理,3層深度小波極限學習機所耗時間為46s,測試精度只有77%。

上述方法說明批訓練最小二乘法下的深度極限學習機是有效的。

筆記先寫到這里,以后有機會再進行補充


新手

5 麥片

財富積分


050


2

主題

17

帖子

0

最佳答案
2#
 樓主| 發表于 2019-8-31 21:55:25 | 只看該作者
CSDN原文 https:深度極限學習機//blog.csdn.net/qq_41043389/article/details/100089826  去掉深度極限學習機這幾個字 再打開鏈接

新手

5 麥片

財富積分


050


2

主題

17

帖子

0

最佳答案
3#
 樓主| 發表于 2019-8-31 21:56:51 | 只看該作者
有興趣的可以聯系我QQ 392503054 進行咨詢 或者討論

新手

5 麥片

財富積分


050


2

主題

17

帖子

0

最佳答案
4#
 樓主| 發表于 2019-9-3 10:12:44 | 只看該作者
極限學習機在眾多模式識別算法中確實是理解最簡單的,核心是最小二乘,學機器學習的基本上第一次接觸的算法就是線性回歸,所以理解起來特別容易,而且最小二乘法有很多不足,因此針對這個方面進行改進特別容易

新手

5 麥片

財富積分


050


2

主題

17

帖子

0

最佳答案
5#
 樓主| 發表于 2019-9-3 10:22:50 | 只看該作者
極限學習機的輸入權重由于是隨機賦值的,因此最終效果受其影響較大,目前有各種優化極限學習機的方法,如GA PSO BAT SA ANT AF等各種

新手

5 麥片

財富積分


050


2

主題

17

帖子

0

最佳答案
6#
 樓主| 發表于 2019-9-6 11:13:40 | 只看該作者
深度極限學習機、多層極限學習機、速度快,因此可以用在對時速性要求較高的場合

新手

5 麥片

財富積分


050


2

主題

17

帖子

0

最佳答案
7#
 樓主| 發表于 2019-9-9 09:10:23 | 只看該作者
分類與回歸皆可實現,有興趣的可加qq392503054 一起探討

新手

5 麥片

財富積分


050


2

主題

17

帖子

0

最佳答案
8#
 樓主| 發表于 2019-9-21 10:06:01 | 只看該作者
可加群689665464 這里是一群熱愛機器學習的童鞋

新手

5 麥片

財富積分


050


2

主題

17

帖子

0

最佳答案
9#
 樓主| 發表于 2019-9-27 16:29:30 | 只看該作者
新增拉普拉斯半監督深度極限學習機,復現的論文:丁世飛,張楠,史忠植.拉普拉斯多層極速學習機[J].軟件學報,2017,28(10),歡迎加我qq2919218574

新手

5 麥片

財富積分


050


2

主題

17

帖子

0

最佳答案
10#
 樓主| 發表于 2019-10-12 15:08:34 | 只看該作者
深度極限學習機
您需要登錄后才可以回帖 登錄 | 注冊

本版積分規則

關閉

站長推薦上一條 /3 下一條

快速回復 返回頂部 返回列表
哪一款德州扑克还能玩