تطوير نموذج بيانات ضخمة لغرض تجميع وهيكلة بيانات الحاويات
Developing a Big Data Model for Gathering and Structuring Container Data
- الباحث
- أركان عبدالإله خضر الحبو
- المشرف
- رواء بطرس بولص
- الجامعة
- جامعة الموصل
- الكلية / القسم
- كلية علوم الحاسوب والرياضيات / علوم الحاسوب
- الشهادة
- ماجستير
- السنة
- 2022
- لغة الرسالة
- انكليزي
- الكلمات المفتاحية
- Big Data ; Docker Containers ; Data Structuring ; Data Gathering
الملخص
تعتبر تقنية الحاويات "Docker containers" تقنية جديدة تقوم على مبدء عمل حزمة للبرامج مع كافة محتوياتها سواء كانت مكتبات او اعتماديات بحيث تضمن تشغيل البرامج في اي بيئة حاسوبية مدعومة بدون الحاجة للاعتماد على مكونات من خارج الحزمة المخصصة. توفر منصة "Docker" نمط عناقيد "Docker Swarm cluster" Gey وهو نمط يمكن المطورين من تكوين عناقيد من الحاويات ولاغراض متعددة بسهولة وسرعة حيث يقوم هذا النمط بتنظيم وتسهيل عملية التواصل وادارة توزيع الموارد وتنفيذ الخدمات بين اجهزة العنقود الواحد. العناقيد والتي بدورها تنتج كميات ضخمة من بيانات الاداء والبينات الاحصائية ليست عملية سهلة بالنسبة لمنصات المراقبة وتحليل الاداء التقليدية خصوصاً في حال رغبة المطورين بالحصول والوصل الى معلومات دقيقة عن حالة الحاويات وتتبع المشاكل التي قد تحصل للحاويات اثناء هدف هذه الرسالة , هو تصميم نموذج يعتمد على طرق جديدة لجمع طيف واسع من بيانات الاداء والحالة والبيانات الاحصائية من الحاويات ضمن العناقيد ومن ثم تنظيمها وهيكلتها من اجل خزنها بأستخدم تقنية الخزن الموزعة الخاصة بالبيانات الكبيرة "HDFS" وتحليلها باستخدم تقينة Apache Hive" " و Apache Ambari" " و التي بدورها تسهل عملية التحليل واستخللاص من المعلومات من خلال توفيرها لمجموعة من الاستعلامات والايعازات التي تم برمجتها خصيصاً لمراقبة وتحليل البينات التي جمعها من الحاويات. ُ قرار لجنة المناقشة نشهد اننا أعضاء لجنة التقويم المناقشة قد اطلعنا على الرسالة الموسومة "تطوير نموذج بيانات ضخمة لغرض تجميع وهيكلة بيانات الحاويات" وناقشنا الطالب "اركان عبدالاله خضر حبو" في محتوياتها Lady له علاقة بها بتاريخ 7١77/54/5 وإنها جديرة لنيل شهادة ماجستير علوم في علوم الحاسوب. opis وح بج هف ل الاسم: )= ضحى بشير عبدالله الاسم: )= باسم محمود المرتبة العلمية: أستاذ المرتبة العلمية: أستاذ مساعد التاريخ: ٠077/5/8 التاريخ: ٠077/5/7 رئيس اللجنة عضو اللجنة م اد شف fe الاسم: د. فارس Lie فتحي الاسم: د. رواء بطرس بولص المرتبة العلمية: مدرس المرتبة العلمية: أستاذ مساعد التاريخ: ٠077/5/8 التاريخ: ٠077/5/7 عضو اللجنة عضو اللجنة (المشرف) قرار مجلس الكلية اجتمع مجلس كلية علوم الحاسوب والرياضيات بجلسته ( ) المنعقدة بتاريخ ٠١77>/ / وقرر منحه شهادة ماجستير علوم في علوم الحاسوب. التوقيع: التوقيع: الاسم:: أ.م.د صفوان عمر حسون الاسم: as ضحى بشير عبدالله مقرر مجلس كلية علوم الحاسوب والرياضيات عميد كلية علوم الحاسوب والرياضيات التاريخ: / ”٠١””/ التاريخ: / ٠.7”7/
Abstract
Docker Containers are the technology for the encapsulation of an application with its different components and dependencies into one image package. The containers can run in any environment that has a Docker engine without any problems or additional components. Docker Swarm mode is a cluster of nodes provided by the Docker engine. Docker swarm mode groups Docker Engines together into one "virtual engine" that pools resources and communicates with one or more Swarm managers to execute instructions. Performance metrics gathering and analysis of the Docker Swarm cluster contains hundreds of nodes that run thousands of containers and services that produce large amounts of performance, statistical, and log data that are essential not only for identifying problems but also for improving the performance of the images of their containers. The goal of this thesis is to provide a big data model with a new approach for gathering and per-process wide range of performance, statistical, and status metrics about Docker swarm containers, which will provide a comprehensive view of what happens inside the Docker cluster. Then store, analysis and visualise the gathered metrics using a big data model. The architecture of the big data model consists of a group of techniques (HDFS, Apache Hive, Apache Ambari). the HDFs used as distributed file storage, when the analytics phase is done using Apache Hive and the Hadoop Distributed File System (HDFS). Hive is used to simplify the work with parallel processing model in Hadoop ecosystem, and it is used to perform pre-programmed queries that work on the data inside the HDFS for the purpose of extracting useful conclusions from the gathered data.
طلب نسخة من الملف
الملفات غير منشورة على الموقع. اترك بياناتك وسيتواصل معك موظفو قسم الشؤون الثقافية والفنون لإرسال النسخة مجاناً.