本論文主要論述的重點在於結合多重聲學模型來改進英語語音評分，並針對各部分設計對應的實驗，測試其改良後的效能。
本論文包含兩大部分：第一部分為「多模型合併方法」，第二部分為「利用分治法組合模型」。
「多模型合併方法」包含「基於線性識別分析的兩階段辨識」以及「合併HMM模型結果」兩種。「基於線性識別分析的兩階段辨識」先利用使用梅爾倒頻譜係數以及對數能量為特徵訓練出的基礎語音模型做強迫對位，接著再取出phone segment based features進行第二階段的辨識；而「合併HMM模型結果」則利用不同訓練語料的語音模型分別得出log-likelihood排名，再將排名加以合併成單一排名。
「利用分治法組合模型」將每個音素區分成獨立的個體，利用訓練找出每個音素最適合的多模型合併方式，以改善英語發音評量系統。
為測試多模型組合在發音評量的效能，我們使用以排名為基礎的信心度量測方法。經實驗，基於線性識別分析的兩階段辨識對子音中的鼻音及摩擦音有較好的評量效能，合併HMM模型結果的整體效能亦優於基礎語音模型。而利用分治法組合模型對各個音素使用不同方式進行評量，結果顯示，效能相較僅使用單一種多模型合併亦有明顯的提升。

【1】 Leonardo Neumeyer, Horacio Franco, Mitchel Weintraub, and Patti Price, Automatic Text-Independent Pronunciation Scoring of Foreign Language Student Speech, 1996
【2】 Kim, Y., Franco, H., and Neumeyer, L.,”Automatic Pronunciation Scoring of Specific Phoneme Segments for Language Instruction”, in Proceedings of 4th European Conferaence on Speech Communication and Technology,649-654, Rhodes, 1997
【3】 L. Neumeyer, H. Franco, V. Digalakis and M. Weintraub, Automatic scoring of pronunciation quality, 1999
【4】 Rabiner, L. and Juang, B.H., “Fundamentals of Speech Recognition”, Prentice Hall PTR, Upper Saddle River, New Jersey, 1993.
【5】 Huang, X., Acero, A., and Hon, H.W., “Spoken Language Processing”, New Jersey, Prentice Hall, 2001
【6】 Lee, C.Y., “Speech Evaluation”, 國立清華大學碩士論文, 2002
【7】 R. Haeb-Umbach, H.Ney, “Linear Discriminant Analysis for Improved Large Vocabulary Continuous Speech Recognition”, Philips Research Laboratory Aachen P.O. Box 1980, D-5100 Aachen, Germany, 1992
【8】 Nagendra Kumar, “Investigation of Silicon Auditory Models and Generalization of Linear Discriminant Analysis for Improved Speech Recognition”, Baltimore, Maryland, 1997
【9】 Witt, S.M., and Young, S.J., “Phone-level Pronunciation Scoring and Assessment for Interactive Language Learning”, Speech Communication 30, 95-108, 2000
【10】 Witt, S.M., “Use of Speech Recognition in Computer-assisted Language Learning”, Newnham College, 1999
【11】 Chen, L.Y., and Jang, J.S.R., “Automatic Pronunciation Scoring using Learning to Rank and DP-based Score Segmentation”, International Speech Communication Association, 2010
【12】 Lawrence Rabiner, B.H Juang, Fundamentals of speech recognition, Prentice Hall, 1993
【13】 楊永泰，“隱藏式馬可夫模型應用於中文語音辨識之研究”，中原大學碩士論文，2000年
【14】 Steve Young, The HTK Book version 3, Microsoft Corporation, 2000
【15】 陳柏琳，“中文語音資訊檢索－以音節為基礎之索引特徵、統計式檢索模型及進一步技術”，台灣大學博士論文，2001年
【16】 呂道誠，“不特定語者、國台雙語大詞彙語音辨識之聲學模型研究”，長庚大學碩士論文，2001年
【17】 Lee, C.H., and Clements, M.A., “An Overview on Automatic Speech Attribute Transcription”, Interspeech, 2007