اكتشاف الكائنات المتعددة وتتبعها في ملف الفيديو بالاعتماد على التعلم العميق

الباحث

يونس عباس يونس آل عربو

المشرف

خليل إبراهيم السيف

الجامعة

جامعة الموصل

الكلية / القسم

كلية علوم الحاسوب والرياضيات / علوم الحاسوب

الشهادة

دكتوراه

السنة

2022

لغة الرسالة

انكليزي

الكلمات المفتاحية

Multi Object Tracking ; Object Detection ; Video ; Deep Learning

يقترح هذا البحث طريقة جديدة "لتتبع الأجسام المتعددة" ( (MOT لتتبع المشاة والتعرف عليها. للعمل على تحقيق هذا الهدف ¢ تعدل الدراسة طريقة التتبع عن طريق الكشف الموجودة بالفعل ، بالاعتماد على الواصفات المستخرجة باستخدام المرشحات التلافيفية للشبكة العصبية01.0173لآ . نظرًا لاكتشاف هذه الميزات ومعالجتها أثناء مرحلة الاكتشاف ¢ فقد استغلت الطريقة المقترحة هذه الميزات لإنتاج واصفات فعالة وقوية ثم تم تطبيق الداله الوسيطة لاخر ثلاثة واصفات لغرض مقاومة الضوضاء او القيمه المتطرفة التي من الممكن ان يتنبئ بها الخوارزمية اما بالنسبة للمطابقة تم استخدام المسافة الاقليدية لغرض حساب التطابق بين الواصفات للحصول على اداء تتبع جيد. أظهرت الطريقة المقترحة أداءً أفضل ، مقارنة بأحدث الأساليب ، من خلال إنتاج تنبؤات أفضل باستخدام حسابات أقل. حيث تم الحصول على متوسط الدقه بمقدار998.63 وتمكنت الخوارزمية من تحقيق IDF] بمقدار 779.6 بينا كانت نتيجة MOTA تقدر ب 162.9 تم تضمين نفس الواصفات المستخدمة عند 7801.013 مع Faster R-CNN يسمح هذا التضمين للطريقة المقترحة بإخراج واصف مباشرة لكل كائن تم اكتشافه بواسطة Faster R-CNN ، يربط كل من هذه الواصفات المميزات العميقة المستخرجة من "شبكة اقتراح المنطقة" ( (RPN والمميزات البصرية المستخرجة من شبكة CNN المدربة مسبقًا.. يسمح استخدام هذه الميزات للطريقة المقترحة بإخراج قيم دقيقة بسرعة ، حيث تم استخدام ثلاث طبقات التفاف لاكتساب السمة المميزة فقط التي تمثل الهدف. يتم إعادة توجيه الواصفات التي تم جمعها من الطريقة المقترحة إلى الفرز العميق. ثم ، بالنسبة للإطارات الإضافية ، يعتمد الفرز العميق على مرشح kalman للتنبؤ بالهدف في الإطار التالي من خلال الاعتماد على الإطارات السابقة وسرعة الهدف. تم تقييم خوارزمية الاكتشاف باستخدام قاعدة بيانات Penn-Fudan وتمكنت من تحقيق 098.45/ لمتوسط الدقة Lely يتم an خوارزمية التتبع باستخدام مجموعة بيانات المشاة المعيارية لتحدي 16 MOT وتمكنت من تحقيق 110171 بنسبة 80.4/ و MOTA بنسبة 62.5/. af 2 y ie 46 2 ىه، ومسا هو hh تسم fs 7 a هله مسبر ١ 7 - هو 4 Z- ارد للا 4 ٠١6 a Viz ال مك Se 2 9 San es A ٠ ‘> 3 2 لاما 6 سا ١ 9 (AY م i 1S: Leal,

This research designs and proposes a new “Multi-object Tracking” (MOT) method for pedestrian tracking and recognition. To work towards this aim, the study modifies the already existing method of detection by tracking through the use of descriptors extracted from the convolutional filters of “You Only Look Once (YOLOv3)” neural network called m- yolo. As a result, the features detected and processed during the detection phase are exploited to produce efficient and robust descriptors. Consequently, the median function is applied on the last three descriptors to resist noise and/or ignore anomalous values which could be predicted by the algorithm. For matching, the “Euclidean distance” was used for the purpose of calculating the matching between descriptors to get good tracking performance. The Compared to current approaches, this m-yolo is more effective, since it produces better predictions and uses fewer computations. The results record 98.63% for average precision, 79.6% for identity F1-score, and 62.9% for “Multi-Object Tracking Accuracy” (MOTA). The same descriptors used with YOLOv3 are further embedded with “Faster Region Convolution Neural Network”. This embedding allows the proposed method to directly output a descriptor for each object detected by Faster R-CNN. Each of these descriptors connect a deep feature extracted from “Region Proposal Network” (RPN) and a visual feature extracted from Pre- trained CNN. The use of these features allows the proposed method to acquire accurate values rapidly, since it is used three convolution layers to gain only distinctive feature that represent the target Consequently, the descriptors are forwarded to deep sort, The detection algorithm with m-Faster R-CNN is evaluated using the “Penn-Fudan database” and has recorded 98.45% for average precision, while the tracking algorithm is evaluated using the “MOT16 challenge benchmark pedestrian dataset” and has recorded 80.4% for identity F1-score, and 62.5% for MOTA.

طلب نسخة من الملف

الملفات غير منشورة على الموقع. اترك بياناتك وسيتواصل معك موظفو قسم الشؤون الثقافية والفنون لإرسال النسخة مجاناً.

الاسم

رقم الهاتف

البريد الإلكتروني

الغرض من الطلب (اختياري)

إرسال الطلب