عزل الكلام في بيئة متعددة المتحدثين بالاعتماد على التعلم العميق

الباحث

لقاء فاضل محي

المشرف

علياء كريم عبد الحسن - هبة باسم علوان

الجامعة

الجامعة التكنولوجية

الكلية / القسم

قسم علوم الحاسوب / علوم الحاسوب

الشهادة

ماجستير

السنة

2024

لغة الرسالة

انكليزي

الكلمات المفتاحية

Speech isolation;Speaker separation;Deep learning;Human computer interaction

يتطور المجال الديناميكي للتفاعل بين الإنسان والحاسوب باستمرار لمعالجة العلاقة المعقدة بين البشر والتكنولوجيا. تتمثل إحدى المشكلات الرئيسية في التفاعل بين الإنسان والحاسوب هي فصل الكلام في بيئات متعددة المتحدثين في بيئات العالم الحقيقي. يعد فصل المتحدثين أحد الجوانب المهمة لمعالجة الصوت في مثل هذه البيئات، وهو القدرة على التمييز بين المتحدثين الفرديين داخل مزيج من الإشارات الصوتية. يعد فصل الكلام جانبًا Lage في كل من الأنظمة التي يتم التحكم فيها بالصوت وتطبيقات GLY! في سياق الإدراك السمعي، وخاصة في السيناريوهات التي تحتوي على العديد من المتحدثين المتداخلين، يواجه عزل الصوت الفعال صعوبات مثل الضوضاء الخلفية والكلام المتداخل والظروف الصوتية المتغيرة، والتي يمكن أن تؤدي إلى تدهور الأداء بشكل كبير. في هذه day LY! تم تطوير نظام مقترح لعزل الكلام بكفاءة من القنوات المتعددة في بيئات متعددة المتحدثين. يتكون النظام المقترح من خمس مراحل. المرحلة الأولى هي المعالجة المسبقة لضمان أن تكون جميع الإشارات الصوتية التي تساعد في تحسين استقرار وأداء خوارزميات عزل الكلام والميزات المستخرجة من إشارات صوتية مختلفة متسقة وقابلة للمقارنة. المرحلة الثانية هي استخراج الميزات وتقليل الأبعاد. تم استخدام ales التردد الميلاني (MFCC) وتحويل فورييه قصير الوقت (STFT) و( Chroma-gram ) لاستخراج الميزات. يركز (STFT) على تمثيل التردد الزمنيء والتقاط كيفية تطور محتوى التردد للإشارة بمرور الوقت ومفيد لتحديد التغييرات في درجة الصوت والنغمة. يركز 1/100 على الميزات الإدراكية من خلال محاكاة النظام السمعي البشري. إنه يلتقط صفات نغمة الصوتء وهو أمر أساسي للتعرف على الكلام والمتحدث. يركز( (Chroma-gram على فئة درجة الصوت (مقياس 12 نغمة)، والتقاط المعلومات التوافقية واللحنية. Lie ما يتم استخدامه في معالجة الموسيقى لتحليل بنية الوتر والمحتوى اللوني. يوفر Chroma-gram) ) تمييزًا أكثر دقة بين أصوات المتحدثين المختلفة، وهو فعال بشكل خاص في بيئات الصوت المعقدة. تم استخدام كمية المتجهات (VQ) لتقليل أبعاد الميزات المستخرجة مع الحفاظ على المعلومات الأساسية. يهدف (VQ) إلى تجميع المتجهات المتشابهة وتمثيلها باستخدام متجه رمز واحد في المرحلة الثانية. تتضمن المرحلة الثالثة نموذج التعلم العميق الهجين السريع المقترح (Isolation-Net) باستخدام (الذاكرة طويلة المدى القصيرة (/1511)، والشبكة العصبية التلافيفية ،(CNN) و1/3<8001150، و ،(Leaky Relu) و ،(GRU) و1060256]) لفصل الكلام. المرحلة الرابعة هي استخراج الميزات العكسية لإعادة lis صوت كل متحدث معزول بشكل مستقل لخطوة التقييم. تتضمن المرحلة الخامسة التقييم عن طريق قياس( SIRs SDR ) لعملية العزل. تم تجربة النظام المقترح وتقييمه باستخدام مجموعة AV-speech bly بالنسبة لنتائج ،all تعكس SDR ad و5184 الأعلى عزلًَا أفضل لأصوات المتحدثين: كان 15.15 SDR وكان 13.09 SIR مع .MFCC كان 16.84 SDR وكان 13.86 SIR مع .STFT كان SDR 19.52 وكان 15.86 SIR مع Chroma-gram يظهر النظام ood فعالًا للمتحدثين، duals y مع طريقة (Chroma-gram) ، والتي كانت لها أعلى القيم. أظهر النظام كفاءة عالية في عزل أصوات المتحدثين، وتحسينات كبيرة في نتائج العزل مقارنة بالأعمال ذات الصلة. وهذا يسلط الضوء على فعاليته وأهميته في تحسين جودة عزل الصوت. يؤكد الأداء الفعال للنظام قيمته في تطوير تقنيات عزل الصوت. تم تجربة النظام المقترح وتقييمه باستخدام مجموعة بيانات ،8١1/-5066601 بالنسبة لنتائج العزل: كان 15.15 SDR و13.09 SIR مع .MFCC كان 16.84 SDR وكان SIR 6 مع .STFT كان 19.52 SDR وكان 15.86 SIR مع .Chroma-gram أظهر النظام كفاءة عالية في عزل أصوات المتحدثين، وتحسينات كبيرة في نتائج العزل مقارنة بالأعمال ذات الصلة. وهذا يسلط الضوء على فعاليته وأهميته في تعزيز جودة عزل الصوت. ويؤكد الأداء المتفوق للنظام قيمته في تطوير تقنيات عزل الصوت.

The dynamic field of Human Computer Interaction (HCI) continuously evolves to address the complex relationship between humans and technology. A major problem with HCI is the separating speech in multi-speaker environments in real-world settings. A critical aspect of audio processing in such environments is speaker separation, which is the ability to distinguish individual speakers within a mixture of audio signals. Speech separation is an important aspect in both voice-controlled systems and security applications. In the context of auditory perception, especially in scenarios with multiple overlapping speakers, effective audio isolation is facing difficulties such as background noise, overlapping speech, and varying acoustic conditions, which can significantly degrade the performance. In this thesis, a proposed system is developed to efficiently isolate speech from multi-channel in multi-speaker environments. The proposed system consists of five stages. The first stage is the preprocessing to ensure that all audio signals that aid in improving the stability and performance of speech isolation algorithms and the features extracted from different audio signals are consistent and comparable. The second stage is feature extraction and dimensional reduction. Mel Frequency Cepstral Coefficient (MFCC), Short Time Fourier Transform (STFT), and Chroma-gram were used for features extraction. STFT Focuses on time-frequency representation, capturing how the frequency content of a signal evolves over time and useful for identifying changes in pitch and tone. MFCC Focuses on perceptual features by mimicking the human auditory system. It captures the tone qualities of sound, which is key for speech and speaker recognition. Chroma-gram Focuses on pitch class (12-tone scale), capturing harmonic and melodic information. It is often used in music processing to analyze chord structure and tonal content. Chroma-gram provides a more precise differentiation between different speakers' voices, which is particularly effective in complex audio environments. Vector Quantization (VQ) was used to reduce the dimensionality of the extracted features while preserving essential information. VQ aims to group similar vectors and represent them with a single code vector in stage two. Stage three includes the proposed fast hybrid deep learning model (Isolation – Net) using (Long Short Term Memory (LSTM), Convolution Neural Network (CNN), MaxPooling, Leaky Rectified Linear Unit (Leaky Relu), Gated Recurrent Unit (GRU), and dense) to separate speeches. The fourth stage is the inverse features extraction to reconstruct the sound of each speaker isolated independently for the evaluation step. The fifth stage involves the evaluation by SDR and SIR measurement for the isolation process. The proposed system was experimented and evaluated using the AV-speech dataset. For the isolation results higher SDR and SIR values reflect better isolation of speaker voices: SDR was 15.15 and SIR was 13.09 with MFCC. SDR was16.84 and SIR was 13.86 with STFT. SDR was 19.52 and SIR was 15.86 with Chroma-gram. the system shows effective speaker separation, especially with the Chroma-gram method, which had the highest values. The system demonstrated high efficiency in isolating speaker voices, and significant improvements in isolation results compared to related works. This highlights its effectiveness and importance in enhancing audio isolation quality. The effective performance confirms of system its value in advancing audio isolation techniques.

طلب نسخة من الملف

الملفات غير منشورة على الموقع. اترك بياناتك وسيتواصل معك موظفو قسم الشؤون الثقافية والفنون لإرسال النسخة مجاناً.

الاسم

رقم الهاتف

البريد الإلكتروني

الغرض من الطلب (اختياري)

إرسال الطلب