التحقق من التوقيع المكتوب بخط اليد باستخدام نهج التعلم العميق

الباحث

زينب هاشم فتوحي

المشرف

هناء محسن احمد - احمد حسين راضي

الجامعة

الجامعة التكنولوجية

الكلية / القسم

قسم علوم الحاسوب / علوم الحاسوب

الشهادة

دكتوراه

السنة

2024

لغة الرسالة

انكليزي

الكلمات المفتاحية

Handwritten signature verification;Deep learning;Biometrics;Forgery detection

لقد استخدمت العديد من الصناعات نظام التحقق من التوقيع المكتوب بخط اليد على نطاق واسع، بما في ذلك الأعمال المصرفية والتعليم والإجراءات القانونية والتحقيق الجنائي، حيث يكون التحقق من التوقيع ضروريًا للغاية. يمثل التحقق من التوقيع المكتوب بخط اليد Gass كبيرًا في هذه الصناعات نظرًا للطبيعة المتنوعة للتوقيعات الفردية. كما أن تزوير التوقيعات يشكل تحديات كبيرة بسبب تنوع الطبيعة الفردية للتواقيع، مما يجعل من الصعب التحقق من صحة التواقيع المزورة. تتطلب هذه المشكلة خوارزميات قوية قادرة على التمييز بين التوقيعات الحقيقية والمزورة للتحقق من الموقع الحقيقي. في هذه ay LY! تم اقتراح نهج التحقق من التوقيع المكتوب بخط اليد باستخدام تقنيات التعلم العميق. يتكون النهج المقترح من أربع مراحل أساسية، وهي المعالجة المسبقة للتوقيع المكتوب بخط cal) واستخراج ميزات cad gill وتشفير ميزات cad sill وتصنيف ميزات التوقيع. يبدأ النهج المقترح من جانب العميل حيث تبدأ خطوة المعالجة المسبقة لصورة توقيع المستخدم باستخدام سلسلة من خطوات المعالجة. بعد culls تم استخدام تقنيتين مقترحتين لاستخلاص ميزات التوقيع من أجل العثور على الميزات الأكثر تميرًا في التوقيعات. التقنية الأولى تسمى Gills SignaFusion] تم إنتاجها من خلال الجمع بين تحليل المكونات الرئيسية (PCA) كميزات قائمة على المظهرء ومصفوفة التواجد المشترك للمستوى الرمادي (GLCM) كميزات قائمة على النسيج، وتحويل فورييه السريع (FFT) كميزات قائمة على التردد. والتقنية الثانية هي SignaFusion2 التي تم إنتاجها من خلال الجمع بين التحليل التمييزي الخطي (LDA) كميزات قائمة على المظهرء ومصفوفة التواجد المشترك للمستوى الرمادي (GLCM) وتحويل فورييه السريع (FFT) أيضًا كميزات تعتمد على الملمس والتردد. تم بعد ذلك تشفير هاتين الميزتين المختلطتين باستخدام خوارزمية DES الثلاثية قبل إرسالهما إلى جانب الخادم. بعد إرسال ميزات التوقيع المشفرة، يتم فك تشفير هذه الميزات باستخدام نفس الخوارزمية، ثم يتم إدخالها إلى اداة الذكاء الاصطناعي الذي يتكون من نموذجين مقترحين للتعلم العميق. النموذج الأول هو FHDNN ،((Fast Hyper Deep Neural Network وهو متخصص في التحقق مما إذا كان التوقيع حقيقياً al مزورآء والنموذج الثاني هو ،(SignaDeepID (Signature Deep Identification Model والذي يتيح تحديد هوية الموقع. تم تدريب كلا النموذجين على ثلاث مجموعات بيانات شاملة بأربع لغات: الهولندية والصينية (مجموعة بيانات (SigComp2011 والإنجليزية (مجموعة بيانات (CEDAR ومجموعة البيانات المجمعة بشكل خاص باللغة العربية (مجموعة بيانات SigArab ) لضمان الأداء القوي. تمت مقارنة النتائج التي تم الحصول عليها من النظام المقترح مع نتائج أنظمة التحقق الحديثة. أظهرت نتائج النموذجين (SigDeepID s FHDNN) أداءً فائقًا. gis النموذج الاول accuracy FHDNN و 20 بنسبة %100 لمجموعتي بيانات ‘CEDAR ، SigComp2011 مع قيم recall متفاوتة بسبب الطبيعة غير المتوازنة للبيانات، مما أدى أيضًا إلى تباين في قيم F-score وفي الوقت Bia add النموذج الثاني F-score SigDeepID بنسبة %100 عبر جميع مجموعات البيانات ولكن accurcay أقل قليلاآً على ArabSig بلغت %99.23. تتفوق النماذج المقترحة أيضًا على نماذج التعلم العميق التقليدية (VGG195 VGG16) والتي حققت معدل دقة منخفضًا بين 9042.21 %66.805 لمجموعة بيانات SigComp2011 %37.505 5 %56.2 لمجموعة بيانات CEDAR ومن حيث Ac pull يحقق gill وقت اختبار يقدر بمتوسط 3.5 ثانية لكل صورة. بالإضافة إلى ،alld تم استخدام أربع خوارزميات للتعلم الآلي K- ،Decision Tree ، Naive Bayes) ،Nearest Neighbor و (Adaboost لغرض تقييم نتائج النظام المقترح.

Many industries have made widespread use of the handwritten signature verification system, including banking, education, legal proceedings, and criminal investigation, in which verification is absolutely necessary. Handwritten signature verification presents a significant challenge in these industries due to the diverse nature of individual signatures. Moreover, faking signatures poses significant challenges due to the intricate nature of individual handwriting styles, making it difficult to verify genuine from forged signatures. This problem demands robust algorithms capable of discerning genuine signatures from forgeries to verify the real signer. In this dissertation, a handwritten signature verification approach has been proposed using deep learning techniques. The proposed approach consists of four basic stages, which are handwritten signature preprocessing, signature features extraction, encryption of signature features, and classifying signature features. The proposed approach starts at the client side where the step of preprocessing the user's signature image begins using a series of processing steps. Then, two proposed feature extraction techniques have been used in order to find the most distinctive features in signatures. The first technique is called SignaFusion1 produced by combining Principal Component Analysis (PCA) as appearance-based features, Gray-Level Co-occurrence Matrix (GLCM) as texture-based features, and Fast Fourier Transform (FFT) as frequency-based features, and the second technique is SignaFusion2 produced by combining Linear Discriminant Analysis (LDA) as appearance-based features, Gray-Level Co-occurrence Matrix (GLCM), and Fast Fourier Transform (FFT) also as texture and frequency-based features. These two hybrid features have then been encrypted using the triple DES algorithm before sending them to the server side. After transmitting the encrypted signature features, these features are decrypted using the same algorithm, and then inputted to an AI agent that consists of two proposed deep learning models. The first model is FHDNN (Fast Hyper Deep Neural Network), which specializes in verifying whether the signature is genuine or forge, and the second model is SignaDeepID (Signature Deep Identification Model), which enables to determine the identity of the signer. Both models have been trained on three comprehensive datasets in four languages, including Dutch, Chinese (SigComp2011 dataset), English (CEDAR dataset) and a privately collected dataset in Arabic (SigArab dataset) to ensure robust performance. The results obtained from the proposed system are compared with those of recent verification systems. The outcomes for the two models (FHDNN and SigDeepID) demonstrate superior performance. FHDNN achieved accuracy and precision of 100% for the SigComp2011 and CEDAR datasets, with varying recall values due to the unbalanced nature of the data, which also led to variability in the F-score values. Meanwhile, the SigDeepID model achieved an F-score of 100% across all datasets but slightly lower accuracy on ArabSig 99.23%. The proposed models also outperform traditional deep learning models (VGG16 and VGG19), which achieved a low accuracy rate between 42.21% and 66.80% for the SigComp2011 dataset and 37.50% and 56.2% for the CEDAR dataset. In terms of speed, the approach achieves test time estimated at an average of 3.5 seconds per image. In addition, four machine learning algorithms (Naïve Bayes, Decision Tree, K-Nearest Neighbor, and Adaboost) have been used for the purpose of evaluating the proposed system results.

طلب نسخة من الملف

الملفات غير منشورة على الموقع. اترك بياناتك وسيتواصل معك موظفو قسم الشؤون الثقافية والفنون لإرسال النسخة مجاناً.

الاسم

رقم الهاتف

البريد الإلكتروني

الغرض من الطلب (اختياري)

إرسال الطلب