簡易檢索 / 詳目顯示

回結果列表
研究生： 張泰隆
論文名稱： 重點重覆抽樣應用於類神經網路模型的選擇
Importance Resampling for neural model selection
指導教授： 洪文良
口試委員:
學位類別： 碩士
Master
系所名稱：
論文出版年： 2005
畢業學年度： 93
語文別： 中文
論文頁數： 39
中文關鍵詞： 自助法 、多層認知器 、模型選擇 、重點重覆抽樣
外文關鍵詞： Bootstrap, Multilayer perceptrons, Model selection, Importance resampling
相關次數： 點閱：5  下載：0 
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報

    • 自助法(bootstrap)，又稱為重覆抽樣技術，根據原始的資料重抽產生一系列新的樣本，藉由統計上的計算，求出樣本的平均數與標準差，以評估模型參數的穩定性，做為類神經網路模型選擇的參考(Riadh Kallel [1])，但是此法有兩項缺點，其一，若樣本數過多或模型架構過於複雜，則電腦模擬時間會較長；再者，自助法重覆抽樣次數，至少需要50到200次，才能得到有效的估計量標準差。
    有鑑於此，本論文以重點重覆抽樣的方法探討類神經網路模型的選擇，文中以數個模擬的資料及一個真實的資料來做測試，結果顯示使用重點重覆抽樣其抽樣次數，大約可比均勻重覆抽樣減少2到3倍，減少電腦模擬計算的時間，對於類神經網路模型的選擇，也更加準確且更有效率。

    Bootstrap techniques, resampling computation techniques, have introduced new advances in model evaluation (Bootstrap for neural model selection, Riadh Kallel [1]). Using resampling methods to construct a series of new samples which are based on the original data set, allows to estimate the stability of the parameters. However two main disadvantages must be outlined. First, if or is high, computation time can be very long. Secendly, Efron (1987) finds that reasonable standard error estimates are obtained with only .
    In this paper, we use importance resampling method for neural model selection. These examples indicate that it is better than uniform resampling method. Therefore it decreases the number of replications and computation time.

    目錄 第一章 緒論 1.1研究動機 …………………………………………………… 1 1.2文獻回顧 …………………………………………………… 3 1.2.1多層認知器 ……………………………………………… 3 1.2.2自助法對於參數的估計 ………………………………… 6 1.2.3自助法應用於類神經網路模型的選擇 ………………… 9 第二章 演算法 2.1 誤差倒傳遞演算法 …………………………………………12 2.2 重點重覆抽樣應用於類神經網路模型的選擇 ……………16 第三章 實驗數值比較與結果分析 3.1實驗1 線性模型 ……………………………………………20 3.2實驗2 多項式迴歸模型 ……………………………………24 3.3實驗3 非線性模型 …………………………………………28 3.4實驗4 應用於真實資料之模型選擇 ………………………33 第四章 結論 …………………………………………………………37 附錄一 …………………………………………………………………38 參考文獻 ………………………………………………………………39 圖目錄 圖1.1 類神經網路模型選擇流程圖……………………………………2 圖1.2 多層類神經網路(3-3-2)結構圖…………………………………5 圖1.3 自助法重覆抽樣的過程 …………………………………………7 圖1.4 自助法求出估計量標準差 ………………………………………8 圖1.5均勻重覆抽樣（U.R）應用於類神經網路模型選擇之流程圖 …11 圖2.1誤差倒傳遞訊號流程圖 …………………………………………14 圖2.2誤差倒傳遞演算法流程圖 ………………………………………15 圖2.2 重點重覆抽樣（I.R）應用於類神經網路模型選擇之流程圖 …18 圖3.1 U.R與I.R（實驗1）各模型殘差平均數、標準差比較………23 圖3.2 U.R與I.R（實驗2）各模型殘差平均數、標準差比較………27 圖3.3 U.R與I.R（實驗3）各模型殘差平均數、標準差比較………32 圖3.3 U.R與I.R（實驗4）各模型殘差平均數、標準差比較………36 表目錄 表3.1 完成訓練之參數表（實驗1）……………………………………21 表3.2 均勻重覆抽樣與重點重覆抽樣（實驗1）結果比較……………22 表3.3 完成訓練之參數表（實驗2）……………………………………25 表3.4 均勻重覆抽樣與重點重覆抽樣（實驗2）結果比較……………26 表3.5 完成訓練之參數表（實驗3）……………………………………30 表3.6 均勻重覆抽樣與重點重覆抽樣（實驗3）結果比較……………31 表3.7 完成訓練之參數表（實驗4）……………………………………34 表3.8 均勻重覆抽樣與重點重覆抽樣（實驗4）結果比較……………35

    參考文獻
    [1] R. Kallel, M. Cottrell, V. Vigneron, Bootstrap for neural model selection , Neurocomputing 48 (2002) 175-183.

    [2] B. Cheng, D.M Titterington, Neural networks: a review form a statistical perpective, Statist. Sci.9(1994) 2-54.

    [3] J. Hertz, A.Krogh, R. palmer, Introduction to the Theory of Neural Computation, Addison-Wesley,Reedwood City, CA, 1991.

    [4] B. Eforn, R. Tibshirani , An Introduction to the Bootstrap ,Chapman & Hall , London , 1993.

    [5] J. Berger, S. Fienberg, J. Gani, K. Krickeberg , I. Olkin , B. Singer, The Bootstrap and Edgeworth Expansion ,Springer Verlag 1992.

    [6] Simon Haykin, Neural networks : a comprehensive foundation, Prentice Hall, N.J.,1999.

    [7] Martin T. Hagan, Howard B. Demuth, Mark Beale, Neural network design, Thomson Learning, Australia ,1996.

    [8] Y. Hamamoto, S. Uchimura, S. Tomita, A bootstrap technique for nearest neighbor classifier design, IEEE Trans. PAMI 19 (1997) 73-79.

    [9] A. Zapranis, A.P. Refenes, Principles of Neural Model Identification, Selection and Adequacy, Springer, London, 1999.

    [10] Norman R. Draper, Harry Smith , Applied Regression Analysis , third edition , Wiley Interscience 1998.

    [11] Sheldon M.Ross ,Simulation,3rd edition ,Academic Press 2002.

    無法下載圖示 全文公開日期 本全文未授權公開 (校內網路)
    全文公開日期 本全文未授權公開 (校外網路)

    QR CODE