研究生: |
江愷翔 |
---|---|
論文名稱: |
具 L_1/2 懲罰函數之模型選取法的電腦模擬研究 A simulation study for the performance of model selection with L_1/2 penalty |
指導教授: | 許文郁 |
口試委員: |
陳鄰安
陳志榮 |
學位類別: |
碩士 Master |
系所名稱: |
理學院 - 統計學研究所 Institute of Statistics |
論文出版年: | 2012 |
畢業學年度: | 100 |
語文別: | 中文 |
論文頁數: | 39 |
中文關鍵詞: | 懲罰函數 、模型選取 |
相關次數: | 點閱:1 下載:0 |
分享至: |
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報 |
摘要
現在的模型大部分維度都很高,因此在廣義線性模型或是其它迴歸模型之下,從所有參數中找出相對具影響力參數的問題越來越重要,這個工作就叫做模型選取。有很多文獻有提供一些方法來進行模型選取,比方說 Akaike’s information criterion (AIC; Akaike, 1974), Bayesian information criterion (BIC; Schwarz, 1978), Lasso (Tibshirani, 1996)以及 truncated L_1 (TL_1; Sung, 2011)等等。本篇論文中,我們針對廣義線性模型提出一種 TL_1/2 的懲罰方式,它是將 TL_1 的概念做些變化之後得到的函數,擁有更高的懲罰能力,簡化模型的能力更強,並且在截斷的點上是可微分的,因此計算上相對 TL_1 簡單。論文中還有介紹我們的演算方法和決定篩選參數的排序並且用我們的方法來跟AIC, BIC 和 TL_1 進行模擬比較,其中包含了參數個數是高維度和低維度的Poisson迴歸和 Logistic 迴歸,以及參數個數無限多個的正弦函數迴歸。從模擬結果中可以看到,我們的 TL_1/2 懲罰函數在大部分情況下都擁有較強並且相對準確的選模能力。論文最後是一些簡短的討論。
參考文獻
[1] Akaike, H. (1973). Information theory and the maximum likelihood principle. In International Symposium on Information Theory. Edited by Petrov, V. and Csa ́ki, F. Akademiai Kia ́do, Budapest.
[2] Akaike, H.(1974). A New Look at Statistical Model Identification. IEEE Transactions on Automatic Control, 19, 716-713.
[3] Nishii, R. (1984). Asymptotic properties of criteria for selection of variables in multiple regression. The annals of Statistics, 12, 758-765.
[4] Schwarz, G. (1978). Estimating the dimension of a Model. The Annuals of Statistics, 19, 461-464.
[5] Sung, P.-Y. (2011). Model Selection Under Generalized Linear Models Using Penalized Likelihood. Master Thesis, National Chiao Tung University.
[6] Tibshirani, R. (1996). Regression Shrinkage and Selection via the Lasso. Journal of the Royal Statistical Society, B, 58, 267-288.
[7] Zhao, P. and Yu, B. (2006). On model selection consistency of LASSO. Journal of Machine Learning Research, 7, 2541-2567.