التعرف على إيماءات اليد على أساس إشارات التخطيط العضلي
Hand Gesture Recognition Based on Myography Signals
- الباحث
- نوف ثابت محمود
- المشرف
- محمود حمزة المفرجي - سمير كليبان صالح
- الجامعة
- الجامعة التكنولوجية
- الكلية / القسم
- قسم الهندسة الكهربائية / هندسة الالكترونيك والاتصالات
- الشهادة
- دكتوراه
- السنة
- 2022
- لغة الرسالة
- انكليزي
- الكلمات المفتاحية
- Hand gesture recognition;Electromyography;EMG signals;Classification
الملخص
التطور السريع للتكنولوجيا يسلط الضوء على اهمية التعرف على إيماءات اليد (HGR) فيجعلها dye مهمة للتفاعل بين الإنسان والآلة . Eyo(HMI) يمكن أن تساعد القدرة على التمييز بين إيماءات اليد بتطبيقات عديدة، منها الرعاية الصحية، والتعايشء، والرياضة، واعادة التأهيل العصبي. في الآونة الأخيرة ، تم فحص أجهزة استشعار متعددة تعتمد على إشارات تخطيط العضلات والتعرف البصري لتحسين دقة التمييز بين ايماءات اليد. تتناول الاطروحة آلية ايماءات اليد HGR استنادًا إلى إشارات الميوجرافي ، أي تخطيط كهربية العضل (EMG) ، وقوة العضل (FMG) ، و التعرف على ايماءات اليد المرئية. وبعدها يبدأ عمل المشروع العمل بتطوير آلية التعرف على ايماءات اليد ، بأشكالها المتعددة ومنها إيماءات أسطوانية، كروية، جانبية، sles ،ab وراحة باستخدام مستشعر واحد لشريط الذراع Myo وميزات المجال بالاعتماد على ثلاث من ميزات المجالات الزمنية Uy ناقلات الدعم (/1/١5)بدقة 89/. ومن ثمّ زيادة عدد المستشعرات إلى ثمانية، وزيادة إيماءات اليد إلى ثمانية، بما في ذلك الإيماءات المفتوحة والمغلقة باستخدام اثنين من ميزات من ميزات المجالات الزمنية. الجزء الثاني من هذه الأطروحة يتعامل مع إشارات FMG ، حيث يتم استخدام المقاومة الحساسة للقوة (FSR) لجمع بيانات الإيماءات المفتوحة والمغلقة لكل إصبع. بعد ذلك ، يتم استخدام مرشح كالمان لتقليل الضوضاء. ومع ذلك ، فإن إشارة FMG غير كافية لتحريك اليد الاصطناعية في الوقت الفعلي. وعليه، تم تطوير HGR المرئي باستخدام معالم اليد كاستخراج الميزات و SVM ، مما يحقق دقة تصل إلى 97.8/. يستخدم الجزء الأخير إخراج وحدة القراءة 6 ووحدة القراءة المرئية لاتخاذ قرار بتحريك إصبع اليد الاصطناعية في الوقت الحقيقي مع تأخر وصول لمدة 2 ثانية.
Abstract
The rapid development of technology makes hand-gesture recognition (HGR) a significant feature of Human-Machine Interaction (HMI). The capability to distinguish between hand gestures can help in several applications, such as healthcare, assisted living, sports, and neuro- rehabilitation. Recently, multi-sensor based on myography signals and visual recognition have been investigated to enhance discrimination accuracy. This thesis works on HGR based on myography signals, i.e., electromyography (EMG), Force Myography (FMG), and visual HGR. Hence, this work starts by developing HGR, including; cylindrical, spherical, lateral, tip, hook, and palmar gestures using a single sensor of Myo armband and three-time domain (TD) features and support vector machine (SVM) with an accuracy of 89%. Then, the number of sensors increased to eight, and the hand gestures increased to eight, including open and closed gestures using two TD as features and K- Nearest Neighbor (KNN) as a classifier to achieve an accuracy of 86.6%. The second part of this thesis deals with FMG signals, where the Force- sensitive resistance (FSR) is used for collecting the data of open and closed gestures for each finger. Then, the Kalman filter is employed for noise reduction. However, the FMG signal is insufficient for moving the prosthetic hand in real-time. Therefore, visual HGR is developed using hand landmarks as features extraction and SVM, achieving an accuracy of 97.8%. The final part utilizes the output of the FMG reading unit and visual reading unit to decide to move the prosthetic hand finger in real-time with a delayed reach of 2 sec.
طلب نسخة من الملف
الملفات غير منشورة على الموقع. اترك بياناتك وسيتواصل معك موظفو قسم الشؤون الثقافية والفنون لإرسال النسخة مجاناً.