كشف انتحال الوجه بناءً على ميزات متعددة المستويات مع التعلم العميق
Face Spoofing Detection Based on Multilevel Features with Deep Learning
- الباحث
- شيماء صباح حمد
- المشرف
- نهى جميل ابراهيم - محمد ناطق
- الجامعة
- الجامعة التكنولوجية
- الكلية / القسم
- قسم علوم الحاسوب / علوم الحاسوب
- الشهادة
- ماجستير
- السنة
- 2024
- لغة الرسالة
- انكليزي
- الكلمات المفتاحية
- Face spoofing detection;Anti-spoofing;Multilevel features;Deep learning
الملخص
تعد تقنية التعرف على الوجه من أكثر التقنيات استخدامًا في التطبيقات الأمنية، مثل الهواتف الذكية وأنظمة التحكم في الوصول والمعاملات المالية. ومع ذلك، تواجه هذه التقنية تحديات كبيرة بسبب هجمات انتحال Cue cde oll يستخدم المهاجمون الصور أو مقاطع الفيديو أو الأقنعة ثلاثية الأبعاد لخداع أنظمة التعرف. تقترح هذه الأطروحة نظام "لكشف انتحال الوجه باستخدام ميزات متعددة المستويات ونماذج الشبكات العصبية التلافيفية على صورة ثابتة لتعزيز دقة وكفاءة اكتشاف الوجوه الحقيقية والمزيفة. يتيح مفهوم الميزات متعددة المستويات استخدام أنواع مختلفة من الميزات في مراحل مختلفة لتحليل الصور بطرق متعددة واستخراج معلومات متنوعة. يقوم هذا النظام بتحليل مستويين من الميزات. يتضمن المستوى الأول ميزات الألوان باستخدام مساحات ألوان متعددة ¢ بينما يتضمن المستوى الثاني ميزات النسيج باستخدام تقنيات مثل النمط الثنائي المحلي والرسم البياني للتدرجات الموجه لاستخراج ميزات أكثر تفصيلاً. ومن خلال الاستفادة من هذه المستويات المختلفة من الميزات، يمكن للنظام التمييز بدقة أكبر بين الوجوه الحقيقية والمزيفة، مما يعزز مقاومته لهجمات الانتحال المعقدة. يتكون النظام المقترح من عدة مراحل متكاملة، تبدأ بالتحويل إلى صورة ذات تدرج رمادي. يعد اكتشاف الوجه باستخدام تقنية "الرسم البياني للتدرجات الموجهة" جنبًا إلى جنب مع "آلة ناقل الدعم " فعالاً في تحديد موقع الوجوه بدقة في الصور المختلفة. تم تطبيق ثلاث تقنيات متقدمة لمعالجة الصور لتحسين الوجه المكتشف: اكتشاف الحواف الذكية، وتصفية لابلاس ٠، ومعادلة الرسم البياني التكيفي المحدود للتباين تعمل هذه التقنيات على تحسين وضوح الصورة وإبراز الحواف والتفاصيل الدقيقة. بعد اكتشاف ca gll يتم استخراج الميزاتء. ويتم تحليل الصور لاستخراج ميزات اللون والملمس التي تساعد على التمييز بين الوجوه الحقيقية والمزيفة. يتم استخدام مساحات الألوان المتعددةء RGB و1151 و60ل",، لتحليل تفاصيل الألوان في الصور. المساعدة في اكتشاف الاختلافات في التباين والألوان التي قد تشير إلى الغش. يتم استخدام تقنيات النمط الثنائي المحلي (LBP) والرسم البياني للتدرجات الموجهة (HOG) لاستخراج ميزات النسيج من الصور بناءً على مساحات الألوان. المرحلة النهائية هي التصنيفء ويتم استخدام نماذج الشبكة العصبية التلافيفية المدربة airs ResNet50v2 5 VGG16 ،tases ضبط هذه النماذج بدقة من خلال نقل التعلم، وتدريبها على مجموعة بيانات NUAA التي تحتوي على مجموعة متنوعة من صور الوجه الحقيقية والمزيفة. اختبرت التجارب للصورة الثابتة مقاس 128128 على الموديلين لست نماذج من الميزات المستخرجة . ثم تم تقييم هذه النتائج على أساس مقاييس الأداء المحسوبة من نتائج مصفوفة الارتباك. حققت ‘HSL(HOG) s‘RGB(HOG) <Ycber(LBP) ،HSL (LBP) ،RGB (LBP) النماذج 6%98.59 ،© .%92.36 29096.59 999 6%97.39 482 VGG16 Gus المصنفة ،Ycbcr(HOG) ‘Ycber (LBP) ‘HSL(LBP) ،RGB(LBP) على التوالي. وبالمثل، حققت النماذج 7 29090.96 ها ad دقة ResNet50v2 المصنفة بواسطة Ycbcr(HOG) ‘HSL(HOG) ‘RGB(HOG) على التوالي. أظهرت النتائج التجريبية أن نموذج 99090.56 9095.17 :9/091.77 92.97 9 . أعلى دقة Gis (LBP وميزات HSL مع مساحة الألوان VGGI6
Abstract
Face recognition technology is one of the most widely used technologies in many of applications, such as smartphones, access control systems, and financial transactions. However, this technology faces significant challenges due to face spoofing attacks, where attackers use images, videos, or 3D masks to deceive recog- nition systems. This thesis proposes a system for “face spoofing detection (FSDs)” using multi-level features and “convolutional neural networks (CNNs)” on a still image to enhance the accuracy and efficiency of detecting real and fake faces. The concept of multi-level features allows the use of different types of fea- tures at various stages to analyze images in multiple ways and extract diverse infor- mation. This system analyzes two levels of features. The first level involves color features using multiple color spaces such as RGB, HSL, and YCbCr, while the sec- ond level involves texture features using techniques like Local Binary Pattern (LBP) and Histogram of Oriented Gradients (HOG) to extract more detailed features. By leveraging these different levels of features, the system can more accurately distin- guish between real and fake faces, enhancing its resistance to sophisticated spoofing attacks. The proposed system consists of several integrated stages, beginning with conversion into a grayscale image. Face detection using the “Histogram of Oriented Gradients (HOG)” technique combined with a “Support Vector Machine (SVM)”, is effective in accurately locating faces in various images. Three advanced image pro- cessing techniques were applied to enhance the detected face: Canny edge detection, Laplacian filtering, and Contrast Limited Adaptive Histogram Equalization (CLAHE). These techniques improve image clarity and highlight edges and fine de- tails. After face detection, the features are extracted, and images are analyzed to extract color and texture features that help distinguish between real and fake faces. Multiple color spaces, RGB, HSL, and YCbCr, are used to analyze the color details in the images. Aiding in detecting differences in contrast and colors that may indicate spoofing. “Local Binary Pattern (LBP)” and HOG techniques are applied to extract texture features from the images based on color spaces. The final stage is classifica- tion, pre-trained CNN models, VGG16 and ResNet50v2 are used. These models are fine-tuned through Transfer Learning (TL), trained on the NUAA dataset, this da- taset consists of both real and spoofed face images. The experiments for still images of 128×128 were tested on six feature models that were trained on two CNN models. These outcomes were then evaluated based on performance metrics calculated from the confusion matrix results. The models are classified by VGG16 achieved an ac- curacy of 97.39% for RGB (LBP), 99% for HSL (LBP), 96.59% for YCbCr (LBP), 92.36% for RGB(HOG), 98.59% for HSL(HOG), and 94.17% for YCbCr (HOG). Similarly, the models are classified by ResNet50v2 achieved an accuracy of 90.96% for RGB (LBP), 97.39% for HSL(LBP), 92.97% for YCbCr (LBP), 91.77% for RGB(HOG), 95.17% for HSL(HOG), and 90.56% for YCbCr (HOG). Experimental results showed that VGG16 model, combined with the HSL color space and LBP features, achieved the highest accuracy.
طلب نسخة من الملف
الملفات غير منشورة على الموقع. اترك بياناتك وسيتواصل معك موظفو قسم الشؤون الثقافية والفنون لإرسال النسخة مجاناً.