التعرف على المشاعر من الكلام للغات متعددة باستخدام التعلم الآلي

الباحث

علي عبدالوهاب يحيى الصفار

المشرف

فوزية محمود رمو

الجامعة

جامعة الموصل

الكلية / القسم

كلية علوم الحاسوب والرياضيات / علوم الحاسوب

الشهادة

ماجستير

السنة

2023

لغة الرسالة

عربي

الكلمات المفتاحية

التعرف على المشاعر ; معالجة الكلام ; اللغات المتعددة ; التعلم الآلي

يعد الكلام من أهم أدوات التواصل بين الأفراد وتحقيق التفاهم والعيش بسلام , ويؤدي الكلام دور أساسي لنقل مشاعر الانسان Ely على ما يقوله الآخرون , إن الغرض من cl هذا النظام هو جعل الآلة تتعرف على المشاعر البشرية في ضوء الكلام ، ليتم استثمار هذا التفاعل في تطبيقات مفيدة تخدم البشر. تم بناء نظام حاسوبي ذكي لتمييز خمسة مشاعر(غضب , سعادة , طبيعية , حزن , تفاجئ) من الكلام معتمد على مجموعة البيانات متعددة (Multi Dataset) أطلق عليه اسم (Speech Emotion Recognition System) واختصاراً (SERSYS) . يتكون هذا النظام من نموذجين أساسيين، كل نموذج يقسم إلى نموذجين فرعيين , النموذج الأول يعتمد على مبدأ الشبكة العصبية العميقة يطلق عليه اسم (SERDL) أختصاراً ل Zgaill.(Speech Emotion Recognition Deep Learning) الثاني يعتمد على مبدأ نقل التعلم والشبكات المدرية (Speech Emotion Recognition Transfer Learning) lense يطلق عليه اختصارا (SERTL) . يتكون نظام (SERSYS) المقترح من عدة مراحلء، في المرحلة الأولى يتم تهيئة مجموعات البيانات(10313561) لملفات الصوت حيث تم استخدام مجموعة بيانات (TESS) خاصة بالمشاعر لملفات صوتية باللغة الانكليزية ومجموعات بيانات خاصة بالمشاعر للغة الفرنسية سميت ب (caFE) و للغة الإيطالية ب (EMOVO) تم دمجهم في مجموعة بيانات واحدة (Multi dataset) aul تليها المرحلة الثانية مرحلة استخلاص الصفات ( Features alasiuls (Extraction خوارزمية معاملات (MFCC) sill day أختصاراً (Mel Frequency Cepstral Coefficients)1 تم خزن المعاملات الناتجة بصيغة صورة مخطط طيفي ويمعدل HZ) de 22050( حيث تم استخلاص الصفات بطريقة MFCC والأرقام 6 و39 تمثل عدد الميزات المستخلصة من كل اطار صوتي في الكلام . المرحلة الثالثة هي مرحلة التعرف على المشاعر باستخدام طريقتين ذكائيتين , الأولى في استخدام الشبكة العصبية العميقة Alicia (Deep Neural Network) بالنموذج (SERDL Model) ,الثانية باستخدام الشبكات المدرية (ResNet50,VGG16)linee مع مصنفات التعلم الآلي All Sis متجة (Support Vector Machine) call والغابات العشوائية (Random Forest) متمثلة بالنموذج (SERTL) . تم الحصول على أفضل النتائج في التعرف على المشاعر في اللغات المنفردة وكانت الدقة )99 %( للكلام باللغة الإنكليزية عند استخدام 39 ميزة (MFCC) كإدخالآت للنموذجين (SERTL , SERDL) و(91 %( للكلام باللغة الفرنسية و (7,88) dell الايطالية مع استخدام 6 ميزة (MFCC) كإدخال للنموذج (SERTL) في حالة تصنيف فئات الشعور للغات متعددة(5 1309101306 (Multi , تم الحصول على أفضل دقة تصنيف بلغت )%94( باستخدام نموذج (SERTL_ML) مع شبكة (ResNet50) ومصنف (RF) وباستخدام عدد معاملات درجة (MFCC=26) ati وبالاعتماد على النظام (SERSYS) قمنا بانشاء نظام آخر باسم (CHESS_SER SYSTEM) والذي ast: بكشف حالتين عاطفيتين باللغة العربية وهي الطبيعي(وتمثل حالة الهدوء والراحة ) و غير الطبيعي (وتمثل حالة الغضب أو الحزن أو عدم الراحة) , تم تطبيقها على 5 لاعبين من أبطال جامعة نينوى في لعبة الشطرنج وحصلنا على دقة تصنيف بلغت )%98( باستخدام نموذج (SERDL) ودقة )%89( باستخدام نموذج .(SERTL)

Speech is a crucial tool for effective communication, understanding, and peaceful coexistence among individuals. It enables people to express their emotions and convey their thoughts effectively. The aim of developing this system is to enable machines to recognize human emotions through speech, thereby facilitating the development of useful applications that serve humanity. To achieve this goal, a sophisticated computer system was created that can identify five different emotions - anger, happiness, normalcy, sadness, and surprise - from speech using a multi-dataset approach. This system is known as the Speech Emotion Recognition System (SERSYS). The SERSYS comprises two main models, each of which has two sub-models. The first model is based on the principles of deep neural networks and is called Speech Emotion Recognition_Deep Learning (SERDL). The second model uses transfer learning and pre-trained networks and is known as Speech Emotion Recognition_Transfer Learning (SERTL). Together, these models enable the machine to accurately recognize human emotions from speech data. Overall, the development of SERSYS represents a significant step forward in the field of artificial intelligence and has enormous potential for improving human-machine interactions in various applications. The SERSYS system is comprised of several stages. Firstly, datasets are created for voice files using TESS for English language and caFE for For French and for Italian languages EMOVO is used, which are merged into a Multi dataset. Secondly, the MFCC algorithm is used for feature extraction, resulting in spectral chart images stored at a sample rate of 22050 Hz. The third stage involves recognizing speech emotions using two intelligent methods: SERDL Model and SERTL Model with pre- trained networks (ResNet50, VGG16) and machine learning classifiers (Support Vector Machine), Decision Trees, and Random Forests. The best results were achieved in single-language emotion recognition with accuracy rates of 99% for English speech using 39 MFCC features as inputs for SERDL Model, 91% for French speech and 88% for Italian speech using 26 MFCC features as inputs for SERTL Model. For multi- language emotion classification, the best accuracy rate of 94% was achieved using SERTL_ML Model with ResNet50 network and RF classifier with 26 MFCC coefficients. We have developed a new system called CHESS_SER SYSTEM, using the SERSYS framework. This system is capable of detecting two emotional states in Arabic language - normal (indicating calmness and comfort) and abnormal (indicating anger, sadness or discomfort). We tested this system on 5 players from Nineveh University who were playing chess. Using the SERDL model, we achieved a classification accuracy of 98%, while the SERTL model gave an accuracy of 89%.

طلب نسخة من الملف

الملفات غير منشورة على الموقع. اترك بياناتك وسيتواصل معك موظفو قسم الشؤون الثقافية والفنون لإرسال النسخة مجاناً.

الاسم

رقم الهاتف

البريد الإلكتروني

الغرض من الطلب (اختياري)

إرسال الطلب