نموذج كشف التزييف العميق للوجه بالاعتماد على التعلم الآلي
Face Deepfake Detection Model Based on Machine Learning
- الباحث
- ضحى عامر سلطان عبدالقادر
- المشرف
- لهيب محمد إبراهيم محمد
- الجامعة
- جامعة الموصل
- الكلية / القسم
- كلية علوم الحاسوب والرياضيات / علوم الحاسوب
- الشهادة
- دكتوراه
- السنة
- 2024
- لغة الرسالة
- انكليزي
- الكلمات المفتاحية
- Deepfake Detection ; Face Manipulation ; Machine Learning ; Deep Learning
الملخص
لقد أدى الظهور والتطور السريع لتكنولوجيا التزييف العميق إلى ظهور حقبة جديدة من الانبهار والقلق في alle الوسائط الرقمية. al أظهرت تقنية Deepfakes ، التي تغذيها خوارزميات التعلم الآلي المتقدمة، قدرة غير مسبوقة على التلاعب بالمحتوى الواقعي وتوليفه، مما يؤدي إلى اخفاء الحدود بين الواقع والتزييف. وبما أن تقنيات الوسائط المزيفة هذه أصبحت أكثر تعقيداء فقد تصاعدت احتمالات سوء الاستخدام og Lay مما قد يشكل ضررا على الكثير من الناس. واستجابة للتهديد المتصاعدء تم إجراء العديد من الدراسات لفهم كيفية عمل التزييف العميق وكيفية اكتشاف هذه الوسائط المزيفة. في هذه الدراسة، تم اقتراح نموذج ane أطلق عليه اسم SVADD as! الفيديو المزيف cally يستغل الميزات المرئية والسمعية للفيديو. VADD يعمل وفقا لاستراتيجيتين رئيسيتين, 010031لا: تم تصميم نموذجين منفصلين لفحص مقاطع الفيديو ely على ميزاتها المرئية والسمعية بشكل منفصل. :Multimodal تم دمج النموذجين المنفصلتين Lae الوسائط المتعددة: لإنتاج نموذج متعدد يعتمد على الميزات المرئية والصوتية معا لاكتشاف التزييف العميق. في البدء؛ تم تقسيم كل فيديو إلى ٠١ و١٠ و٠١" إطارًا مع فواصل زمنية Vs ١و ٠ بين الإطارات. تم اكتشاف الوجوه باستخدام خوارزمية IMTCNN ميزات الوجه استخرجت باستخدام asi النموذجين: <FaceNet+PCA+HeadPose estimation VGGFace+PCA+HeadPose estimation بينما تم استخراج ميزات الصوت باستخدام وظيفة التعلم الآلي لمعاملات التردد الرأسي (MFCC) تم تدريب النماذج على نوعين من مجموعات البيانات. مجموعات البيانات هذه هي: ،FaceForensicst+(FF++) التي تحتوي على ٠٠٠١ مقطع فيديو حقيقي و١٠٠٠ مقطع فيديو مزيف من الفيديوهات الصامتة، و FakeAVCeleb التي تحتوي على 2٠٠ مقطع فيديو حقيقي و0٠26 مقطع فيديو مزيف من الفيديوهات الناطقة. في جميع الحالات السابقة، استخدم LazyClassifier لتحديد ما إذا كان الفيديو مزيفا al لا. لتقييم النموذج استخدمت أربعة مقاييس تقييم، وهي: .Fl_ Score, , Precision, Accuracy 11ج أفضل قيم الدقة (Accuracy) التي تم الحصول عليها هي: ٠,417035477 للنموذج المرئي باستخدام VGGFacet+PCA+HeadPose estimation المطبق على ٠١ إطارًا لكل فيديو مع فاصل interval 1 مأخوذ بين الإطارات المستخرجة من مجموعة بيانات FF++ و85,١ على مجموعة بيانات FakeAVCeleb أعلى قيمة للدقة هي ٠011531757 للنموذج الصوتي باستخدام دالة MFCC مع ٠0 ميزة مستخرجة من كل ملف صوتي. أعلى قيمة للدقة لنموذج الوسائط المتعددة الجمع بين النماذج Gal FakeAVCeleb المطبقة على مجموعة بيانات ، AVAAEAY هي الصوتية والمرئية في وسائط متعددة واحدة إلى تعزيز الدقة الشاملة للكشف عن التزييف العميق. قرار لجنة المناقشة نشهد Lil أعضاء لجنة المناقشة قد اطلعنا على الاطروحة الموسومة "نموذج كشف التزييف العميق للوجه بالاعتماد على التعلم الالي" وناقشنا الطالبة "ضحى عامر سلطان عبدالقادر" في محتوياتها وفيما له علاقة بها بتاريخ 7١74/17/١١ ونعتقد أنها جديرة بالقبول لنيل شهادة دكتوراه فلسفة في علوم الحاسوب. التوقيع: التوقيع: الاسم: د.فوزية محمود رمو الاسم: د.ابراهيم احد صالح المرتبة العلمية: أستاذ المرتبة العلمية: أستاذ التاريخ: | /:؟.؟ التاريخ: | /:؟.؟ رئيس اللجنة عضو اللجنة التوقيع: التوقيع: الاسم: د.ميثاق طالب كاطع الاسم: د.جمال صلاح الدين مجيد المرتبة العلمية: أستاذ المرتبة العلمية: أستاذ مساعد التاريخ: | /:؟.؟ التاريخ: | /:؟.؟ عضو اللجنة عضو اللجنة التوقيع: التوقيع: الاسم: د.إيلاف أسامة عبدالمجيد الاسم: د. لهيب محمد إبراهيم المرتبة العلمية: أستاذ مساعد المرتبة العلمية: أستاذ التاريخ: | /:؟.؟ التاريخ: ل Yeve/ عضو اللجنة عضو اللجنة (المشرف) قرار مجلس الكلية المنعقدة بتاريخ / /1 وقرر منحها شهادة دكتوراه فلسفة في علوم الحاسوب. التوقيع: التوقيع: . الاسم: أ.د. صفوان عمر حسون الاسم: أ. د. ضحى بشير عبد الله مقرر مجلس كلية علوم الحاسوب والرياضيات عميد كلية علوم الحاسوب والرياضيات التاريخ: ل ye¥e/ التاريخ: | yeyes
Abstract
The revolutionary advancement and development of deepfake technology has led to the emergence of a new era of dazzling and anxiety in the world of digital media. Deepfake, that fed by advanced algorithms of machine learning have showed a surpassing ability in manipulating and fabricating digital content, so that the differences between the real and the fake ones faded away. As these fabricated media techniques progressed, the possibility for using them as a mean for fraud and cheating has increased and this may cause a harm to many people. In response to the raising menace, several researches and studies have been made to understand how deepfake works and how to detect these generated fake medias. In this thesis, a new model for fake video detection has been considered, named as Video_Audio Deepfake Detection (VADD). The model took advantages of the visual and audial features of the video, based on the consideration that a well-fabricated video should be manipulated in both visual and audial aspects. VADD works as on two major strategies, Unimodal: two separated models were designed for checking videos based on their visual and audial features separately. Multimodal: the two separated unimodals were combined together to produce a single video_audio multimodal for deepfake detection, enabling checking the video through both visual and audial features. First of all, each video was braked into 10, 20, and 30 frames with 0, 1, and 3 intervals between frames. Faces were detected using MTCNN algorithm. Facial features were extracted using either of two models: FaceNet+PCA+HeadPose estimation, VGGFace+PCA+HeadPose estimation, while the audio features were extracted using the mel-frequency cepstral coefficients (MFCC) machine learning function. The models are trained on two types of datasets. These datasets are: FaceForensics++(FF++), which contains 1000 real and 1000 fake of silent videos, and FakeAVCeleb which contains 500 real and 500 fake of speaking videos. In all cases, a LazyClassifier was used to determine whether the video was fake or not. The best obtained accuracy values were: 0.9309462 for the Visual model using VGGFace+PCA+HeadPose estimation applied on 20 frames per video with 1_interval taken between frames extracted from the FF++ dataset and 0.86 on the FakeAVCeleb dataset. 0.9949748 for the Audial model using the MFCC function with 60 features per audio. 0.9698492 for multimodal applied on the FakeAVCeleb dataset. The combination of the audial and visual models in a single multimodal enhances the overall deepfake detection accuracy.
طلب نسخة من الملف
الملفات غير منشورة على الموقع. اترك بياناتك وسيتواصل معك موظفو قسم الشؤون الثقافية والفنون لإرسال النسخة مجاناً.