تحسين معدل التعرف على الكلام المدعوم بحركة الشفاه في البيئة الصاخبة

الباحث

محمد احسان صافي

المشرف

أياد ابراهيم عباس

الجامعة

الجامعة التكنولوجية

الكلية / القسم

قسم الهندسة الكهربائية / هندسة الالكترونيك والاتصالات

الشهادة

دكتوراه

السنة

2023

لغة الرسالة

انكليزي

الكلمات المفتاحية

Speech recognition;Lip motion;Noisy environment;Deep learning

يوفر التعرف على الكلام طريقة سهلة للتحكم في الروبوتات. ومع cll فهو حساس جدًا للضوضاء الخلفية. ولذلك، فإن استخدامه في الملاحة الآلية المتنقلة في bind) الصاخبة مثل الشوارع والمصانع محدود للغاية. وبالتالي، كان الهدف الرئيسي لهذا العمل هو تعزيز معدل التعرف على الكلام وتقليل استهلاكه للوقت للتحكم في تنقل الروبوت المتنقل في الظروف الصاخبة مثل المصانع وخطوط الإنتاج. وعلى هذا الاساسء اقترح هذا البحث طريقة مشتركة لتحسين معدل التعرف على الكلام في البيئة الصاخبة مدعومة بحركة الشفاه. يتكون نظام التعرف على الكلام المقترح من ثلاثة أجزاء ؛ التعرف على الكلام الصوتي ، والتعرف المرئي على الكلام ، والتحكم في الاندماج بينهما. يمثل الجزء الأول خوارزمية التعرف على الكلام الصوتي المقترحة والمستند على PNCC كأسلوب لاستخراج الميزات والمصنف المقترح (Weighted-K-NN-DTW) قاعدة البيانات المستخدمة في هذا الجزء هي Speech Commands Data Set v0.01 والتي تحتوي على 64,727 Lie صوتيًا لثلاثين pol وكلمة مساعدة خمس مراتء بالإضافة إلى جزء الصوت الخاص بقاعدة بيانات UOTletters يعمل المصنف المقترحة بشكل أقوى من المصنفات الأساسية والمصنف 1271721 العادية, وكما تتمتع الخوارزمية المقترحة بحصانة أكبر للضوضاء في خمسة مستويات من الضوضاء (white noise) (خالية من الضوضاء ، 20 ديسيبل ، 15 ديسيبل ، 10 ديسيبل ، 5 ديسيبل) بمتوسط فرق دقة يبلغ 13.67 / Lad يتعلق بالخوارزميات المقارنة معها. ومع ذلك؛ مع هذه التحسينات، لا تزال الخوارزمية مشوشة بسبب مستويات الضوضاء العالية (10 ديسيبل و5 ديسيبل). ولذلك؛ تم اقتراح خوارزمية التعرف على الكلام المرئي. يحتوي جزء التعرف على الكلام المرئي المقترح على العديد من التحسينات في الكشف والعزل واستخراج الميزات وتصنيف أداء التعرف التلقائي على الكلام من حيث السرعة والدقة. تبدأ الخوارزمية المقترحة للتعرف المرئي على الكلام باكتشاف منطقة الفم باستخدام خوارزمية Viola-Jones وتحسينات العتبة لصورة الإدخال (Frame) استندت طريقة J je الشفاه المقترحة على إزالة الخلفية (طرح متوسط pixels للصورة المدخلة من نفسها) ثم تنفيذ عملية 2 للصورة الناتجة بنواة خاصة. الخطوة التالية هي استخراج الميزة من contour باستخدام ميزة نسبة الارتفاع إلى العرض الهندسية. الخطوة الأخيرة هي التصنيف باستخدام أحد المصنفات المقترحة Mean-K-NN-) DTW و (Weighted-K-NN-DTW وصل معدل التعرف للخوارزمية المقترحة مع المصنف Mean-K- NN-DTW إلى 497.31/. في حين ، وصل معدل التعرف للخوارزمية المقترحة باستخدام مصنف Weighted- K-NN-DTW إلى 7100 ومع ذلك ، لا تزال المعالجة المرئية أبطأ من وقت معالجة الصوت؛ لذلك ، تم اقتراح الجزء الثالث ، الذي يمثل التحكم في عملية الاندماج للطريقتين. تحدد عملية الاندماج مستوى الارتباك لمصنف خوارزمية الصوت وتقارنه بالعتبة لتحديد ما إذا كان النظام يحتاج إلى الانتقال إلى المستوى التالي (الخوارزمية المرئية). علاوة على ذلك ، فإنه يحدد الارتباك في المصنف المرئي لتحديد قرار التعرف النهائي. تم استخدام قاعدة بيانات UOTletters في تجارب هذا co jal والذي يتكون من 30 Baste (من 10 إلى 62 (Ae و26 حرفاً إنجليزياًء مرتين من التكرارء حيث يكون إجمالي الكلمات 1560. وقد أدى جزء الدمج المقترح إلى زيادة نسبة دقة التعرف التي وصلت إلى (970100). بينما كان متوسط سرعة التعرف 9.71 مرة اسرع من جزء التعرف على الكلام المرئي لمستويات الضوضاء الخمسة. أخيرّاء تم استخدام نظام التعرف على الكلام الصوتي والمرئي المقترح لتنفيذ ترابط بين البشر والروبوتات بواسطة نظام تفاعلي لملاحة الروبوتات المتنقلة. تم تطبيق تجربة التحكم على الثلاثين متحدنًا في قاعدة بيانات UOTletters بمستويات ضوضاء مختلفة، ووصل الروبوت المتنقل إلى جميع الأهداف بدقة SLi; على الأوامر المتعرف عليها.

Speech recognition gives an easy way to control robotics. Nevertheless, it is very sensitive to background noise. Therefore, utilizing it in mobile robot navigation in noisy environments like streets and factories is very limited. Thus, this work's main goal was to enhance the speech recognition rate and reduce its time consumption for controlling mobile robot navigation in noisy conditions like factories and production lines. Consequently, this research proposes a combined method to improve the speech recognition rate in a noisy environment supported by lip motion. The proposed speech recognition system is a composition of three parts: audio speech recognition, visual speech recognition, and the fusion control between them. The first part represents the proposed audio speech recognition algorithm based on the Power Normalized Cepstral Coefficient (PNCC) as a feature extraction technique and the proposed classifier (Weighted-K-NN-DTW). The proposed classifiers perform more robustly than the baseline and ordinary Weighted-KNN classifiers. The database used in this part is Speech Commands Data Set v0.01, which contains 64,727 audio files with different speakers saying 30 commands and auxiliary words five times, in addition to the audio of the UOTletters database. The proposed algorithm has more immunity to noise in five levels of additive white noise (Signal to Noise ratio) noise-free, 20dB, 15dB, 10dB, and 5dB, with an average accuracy difference of 13.67% with respect to the baseline algorithms. Even so, with these enhancements, the algorithm is still confused by high noise levels (10dB and 5dB). Therefore, a Visual Speech Recognition algorithm has been proposed. The proposed visual speech recognition part has many improvements in detection, isolation, feature extraction, and classification of automatic speech recognition performance in speed and accuracy. The proposed algorithm for visual speech recognition starts by detecting the mouth region using the Viola-Jones algorithm and the proposed auto-configuration method to the optimal value of the threshold for the input image (frame). The proposed lips segmentation was based on removing the background (subtracting the average of the input image pixels from itself) and then performing a convolution process of the output image with a special kernel. The next step is the feature extraction from the contour using height-to-width ratio geometric feature extraction. The final step is the classification using one of the proposed classifiers (Mean-K-NN-DTW and Weighted-K-NN-DTW). The recognition rate for the proposed algorithm with the Mean-K-NN-DTW classifier reaches 97.31%. On the other hand, the recognition rate for the proposed algorithm with the Weighted-K-NN-DTW classifier reaches 100%. Yet, it is still slower than the audio processing time; therefore, the third part, which represents the control of the fusion process of the two approaches, has been proposed. The fusion process determines the confusion level of the classifier of the audio algorithm and compares it with the threshold to decide if the system needs to go to the next level (visual algorithm). Moreover, it determines the confusion in the visual classifier to determine the final recognition decision. The UOTletters database was used in the experiments of this part, which consists of 30 speakers (10 to 62 years old), 26 English letters, two times of repetition, and the overall utterances are 1560. The proposed fusion part increased the accuracy of the recognition rate, which reached (100%). The average recognition speed-up was 9.71 times the visual speech recognition part in the five noise levels. Finally, the proposed audio-visual speech recognition system was used to implement a hardware interface between humans and robots to perform an interactive system for mobile robot navigation. The control experiment was applied to the thirty speakers of the UOTletters database with different noise levels, and the mobile robot reached all targets precisely based on the recognized commands.

طلب نسخة من الملف

الملفات غير منشورة على الموقع. اترك بياناتك وسيتواصل معك موظفو قسم الشؤون الثقافية والفنون لإرسال النسخة مجاناً.

الاسم

رقم الهاتف

البريد الإلكتروني

الغرض من الطلب (اختياري)

إرسال الطلب