簡易檢索 / 詳目顯示

研究生: 楊詮熙
Yang, Quan-Xi
論文名稱: 基於視覺使用條件隨機場的連續手語分割
Vision-based Continuous Sign Language Segmentation Using Conditional Random Fields
指導教授: 黃仲陵
Huang, Chung-Lin
口試委員: 謝朝和
賴文能
柳金章
學位類別: 碩士
Master
系所名稱: 電機資訊學院 - 電機工程學系
Department of Electrical Engineering
論文出版年: 2011
畢業學年度: 100
語文別: 中文
論文頁數: 54
中文關鍵詞: 手語分割
外文關鍵詞: sign language, segmentation
相關次數: 點閱:73下載:0
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 在本篇論文中,主要是研究人機互動的一個領域。而其中包含了肢體互動的方式,手語辨識系統則是其中的應用。在手語系統中,包含單字手語的辨識和連續手語的辨識。其中單字手語辨識的發展已經經過了很長的一段時間,所使用的方式是利用HMM或是DTW等方式來達到辨識的效果。而連續手語則是一個比較複雜的問題,其中連續手語序列的分割是最為難以解決的部分,所以本篇論文我們將專注於連續手語序列的分割。
    在我們的連續手語系統當中,我們主要是使用PHMM來去做辨識,而主要的連續手語序列則是使用CRF模型來做分割。在連續手語當中,在兩個單字手語的區間會有一段轉換的過程,我們稱之為ME,或是非手語部分。CRF模型主要是利用我們所建立的手語單字模型,來去辨識我們沒有建立的非手語(ME)部分。在其中我們有訓練到的手語,其CRF模型的機率值會偏高。反之在我們沒訓練到的ME部分,CRF的機率值會偏低。因此我們藉由此特性可以成功的分割出手語部分和非手語(ME)的部分。
    在我們的實驗環境中,我們使用了40個手語字彙與5個測試者。其中3個測試者來去做訓練,2個測試者做測試。每個測試者比劃出相同的5段手語做計算。我們計算出來的精確度和回復率分別是最佳92.5和88.5。結果說明了我們的手語辨識系統中有不錯的分割效能。


    第一章 介紹 3 1.1 動機 3 1.2 相關工作 4 1.3 系統概要 6 1.4 論文概序 8 第二章 手勢特徵的擷取 9 2.1 使用Cam-Shift追蹤手勢 9 2.2 手部位置 14 2.3 手部切割 15 2.4 混合特徵向量 16 2.4.1 7Hu Moments 17 2.4.2 主軸方向 20 2.5 姿態識別 22 2.6 手的運動方向量化 23 第三章 統計模型 26 3.1 條件隨機場模型 26 3.1.1 條件隨機場模型的架構 28 3.1.2 訓練CRF模型的參數 30 3.2 乘積隱藏式馬可夫模型 33 第四章 連續手語辨識系統 36 4.1 基於CRF模型下的手語分割 37 4.2 單字手語辨識 40 第五章 實驗結果 41 5.1 實驗環境 41 5.2 SVM 分類實驗 41 5.3 連續手語切割與辨識實驗 44 第六章 CONCLUSION AND FUTURE WORKS 52 REFERENCES 53

    [1] Fang, G.; Gao, W.; Zhao, D.; “Large-Vocabulary Continuous Sign Language Recognition Based on Transition-Movement Models”, IEEE Transactions on Systems, Man, and Cybernetics, Part A: Systems and Humans, pp.1-9, Dec. 2006
    [2] Gao, W; Fang, G; Zhao, D; and Yiqiang C, “Transition Movement Models for Large Vocabulary Continuous Sign Language Recognition,” Proc. Sixth IEEE Int’l Conf. Automatic Face and Gesture Recognition, pp. 553-558, May 2004.
    [3] J, Ye; H, Yao; and F, Jiang; “Based on HMM and SVM Multilayer Architecture Classifier for Chinese Sign Language Recognition with Large Vocabulary,” Proc. Third Int’l Conf. Image and Graphics (ICIG ’04), pp. 377- 380, Dec. 2004
    [4] Maebatake, M.; Suzuki, I.; Nishida, M.; Horiuchi, Y.; Kuroiwa, S,” Sign Language Recognition Based on Position and Movement Using Multi-Stream HMM," Second International Symposium. Universal Communication (ISUC ’08), pp.478-481, Dec. 2008
    [5] Matsuo, T. ; Shirai, Y. ; Shimada, N. ; “Automatic Generation of HMM Topology for Sign Language Recognition,” 19th International Conference. Pattern Recognition (ICPR ’08), pp.1-4, 2009
    [6] C. L.Wang,W. Gao, and S. G. Shan, “An approach based on phonemes to large vocabulary Chinese sign language recognition,” in Proc. IEEE Int. Conf. Autom. Face Gesture Recognit., 2002, pp. 411–416.
    [7] B. Bauer and H. Hienz, “Relevant features for video-based continuous sign language recognition,” in Proc. 4th Int. Conf. Autom. Face Gesture Recognit., 2000, pp. 440–445.
    [8] Mahmoud Elmezain, Ayoub Al-Hamadi, J¨org Appenrodt, Bernd Michaelis,“A Hidden Markov Model-Based Continuous Gesture Recognition System for Hand Motion Trajectory,” 19th International Conference. Pattern Recognition (ICPR '08), pp. 1-4, 2009
    [9] Daniel Kelly, John Mc Donald, Charles Markham, "Continuous Recognition of Motion Based Gestures in Sign Language," IEEE 12th International Conference.Computer Vision Workshops (ICCV 2009), pp. 1073-1080, 2010
    [10] J. Lafferty, A. McCallum, and F. Pereira, “Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data,” Proc. 18th Int’l Conf. Machine Learning, pp. 282-289, June 2001.
    [11] H.M. Wallach, “Conditional Random Fields: An Introduction,”Technical Report MS-CIS-04-21, Univ. of Pennsylvania, 2004.

    無法下載圖示 全文公開日期 本全文未授權公開 (校內網路)
    全文公開日期 本全文未授權公開 (校外網路)
    全文公開日期 本全文未授權公開 (國家圖書館:臺灣博碩士論文系統)
    QR CODE