ما هو Data Profiling
هي عملية فحص وتحليل وإنشاء ملخصات مفيدة للبيانات.
متى نقوم بـعملية الـData Profiling
يفضل أن نقوم بمسح البيانات لمرة واحدة على الأقل قبل بناء النموذج Data Modeling حتى نفهم البيانات بصورة صحيحة و نبني نموذج جيد خالي من المشاكل.
 |
| Data Profiling |
ماذا تستخدم في عملية البروفايل
يفضل إستخدام أداة حتى نسرع من العملية
تعتمد صحة البيانات تعتمد مدى جودة البيانات. وفقا لموقع تالند Talend كشفت تقييمات جودة البيانات أن حوالي 3% فقط من البيانات تلبي معايير الجودة. وهذا يعني أن البيانات التي تتم إدارتها بشكل سيئ تكلف الشركات ملايين الدولارات من الوقت الضائع والمال والإمكانات غير المستغلة.
ما هي المعلومات التي نقوم بجمعها
على مستوى العمود
- أعلى قيمة MAX
- أقل قيمة MIN
- المتوسط
- المنوال
- الانحراف المعياري
- التكرار
- التباين
- المجموع
معلومات Metadata
- نوع البيانات
- الطول
- القيم الخالية
على مستوى الجدول
- تحليل المفتاح الأساسي
- تحليل المفتاح الأجنبي
- تحليل تكامل المرجعية
نستخدم ملفات تعريف البيانات في الحالات التالية
- دمج البيانات Data Integration
- بناء مستودع البيانات Data warehousing
- نقل البيانات Data Migration
يمكن اكتشاف البيانات السليمة وفهمها بسهولة، كما أنها ذات قيمة للأشخاص الذين يحتاجون إلى استخدامها؛ وهذا شيء يجب على كل منظمة أن تسعى جاهدة لتحقيقه. تساعد ملفات تعريف البيانات فريق عمل البيانات على تنظيمها وتحليلها حتى يتمكن من تحقيق أقصى قيمة لها ويمنح المنظمة ميزة تنافسية واضحة في السوق. في هذا المقال ، نستكشف عملية تصنيف البيانات وننظر في الطرق التي يمكن أن تساعدك بها في تحويل البيانات الأولية إلى معلومات ورؤى قابلة للتنفيذ.
يمكن أن تكلف البيانات السيئة الشركات 30% أو أكثر من إيراداتها. بالنسبة للعديد من الشركات، يعني ذلك إهدار ملايين الدولارات، واستراتيجيات يجب إعادة حسابها. فكيف تنشأ مشاكل جودة البيانات؟
في كثير من الأحيان يتم إعمال الرقابة. يمكن أن تصبح الشركات مشغولة جدًا بجمع البيانات وإدارة العمليات مما يؤدي إلى تعريض فعالية البيانات وجودتها للخطر. قد يعني ذلك فقدان الإنتاجية، وفرص المبيعات الضائعة، وفرصًا ضائعة لتحسين النتيجة النهائية. وهنا يأتي دور أداة تحديد مواصفات وجودة البيانات.
بمجرد تشغيل تطبيق ملفات تعريف البيانات، فإنه يقوم باستمرار بتحليل البيانات وتنظيفها وتحديثها من أجل توفير رؤى مهمة متاحة مباشرة. يوفر ملف تعريف البيانات ما يلي.
تحسين جودة البيانات ومصداقيتها
بمجرد تحليل البيانات، يمكن أن يساعد التطبيق في القضاء على البيانات الشاذة. ويمكنه تحديد المعلومات المفيدة التي يمكن أن تؤثر على اختيارات العمل، وتحديد مشكلات الجودة الموجودة داخل نظام المؤسسة، واستخدامها لاستخلاص استنتاجات معينة.
اتخاذ القرار
يمكن استخدام المعلومات الموجزة لتجنب الأخطاء الصغيرة من أن تصبح مشاكل كبيرة. ويمكنه أيضًا الكشف عن النتائج المحتملة لسيناريوهات جديدة. تساعد ملفات تعريف البيانات في إنشاء لمحة دقيقة عن صحة الشركة لإرشاد عملية صنع القرار بشكل أفضل.
الإدارة الاستباقية للأزمات
يمكن أن يساعد تصنيف البيانات في تحديد المشكلات ومعالجتها بسرعة، قبل ظهورها.
مع الكم الهائل من البيانات المتاحة والتي يتم جمعها ، أحيانًا ما تنغمر الشركات بجمع المعلومات. ونتيجة لذلك، فإنهم يواجهون صعوبة في الاستفادة الكاملة من بياناتهم، وتتضاءل قيمتها وفائدتها. يقوم تحديد ملفات تعريف البيانات بتنظيم وإدارة البيانات الضخمة لإطلاق العنان لإمكاناتها الكاملة.
سيل بيانات الدومينوز (Domino’s data avalanche)
مع ما يقرب من 14000 موقع، كانت دومينوز بالفعل أكبر شركة بيتزا في العالم بحلول عام 2015. ولكن عندما أطلقت الشركة نظام الطلبات AnyWare، واجهت فجأة سيلًا من البيانات. ويمكن للمستخدمين الآن تقديم الطلبات من خلال أي نوع من الأجهزة أو التطبيقات تقريبًا، بما في ذلك الساعات الذكية وأجهزة التلفزيون وأنظمة الترفيه في السيارات ومنصات التواصل الاجتماعي.
وهذا يعني أن دومينوز كانت لديها بيانات تأتي من جميع الجهات. من خلال تشغيل ملفات تعريف البيانات ، تقوم Domino's الآن بجمع البيانات وتحليلها من جميع أنظمة نقاط البيع الخاصة بالشركة من أجل تبسيط التحليل وتحسين جودة البيانات. ونتيجة لذلك، اكتسبت Domino's رؤى أعمق حول قاعدة عملائها، وعززت عمليات الكشف عن الاحتيال، وعززت الكفاءة التشغيلية، وزيادة المبيعات.
