خارطة طريق لتصبح محلل بيانات

سألني الكثير من أصدقائي على منصات التواصل الإجتماعي في الآونة الأخيرة مجموعة من الأسئلة مثل، أريد أن أكون محلل بيانات كيف أبدأ في هذا المجال؟، ما هي الوجة الصحيحة للتعلم؟، أو رشح لنا بعض الدورات، أو بعض المصادر للتعلم منها إلخ، وهي في نظري صيغ لسؤال واحد مفاده كيف اصبح محلل بيانات؟

لا شك أن البيانات تعتبر نفط العصر الحديث، و اختيارك لهذا المجال يحتم عليك التطور والتعلم مستمر، و للأسف عالمنا العربي لم تنتشر به وظائف محلل البيانات، وتقتصر فقط على الشركات الكبرى خاصةً في مجالات الاتصالات والبنوك والمجال الطبي وشركات الخدمات الحديثة، أما باقي الشركات لا تعي جيدًا ما معنى وظيفة محلل البيانات، وتندرج عادة وظيفة تحليل البيانات للأقسام  تسويق، حسابات، مبيعات إلخ.

أعتقد أن هذا الوضع سيتغير خلال السنوات القليلة القادمة، لأننا نشهد حملات توعية ومبادرات – بعضها حكومي – لتعلم علوم البيانات وليس فقط تحليل البيانات، بالإضافة إلى المشروعات الرقمية ومراكز البيانات التي تقوم ببنائها الدول العربية حالياً، مما يجعل محلل البيانات هي وظيفة المستقبل بلا منازع؛ فكُل الشركات تتطلّع بشكل مُتزايد إلى استخدام البيانات لتحسين العمليات وزيادة الإيرادات.

في هذا المقال أشارككم خطة بالمتطلبات الرئيسية الواجب عليك تعلمها لتصبح محلل بيانات:

أولا : الرياضيات والإحصاء لكل محلل بيانات

لابد من الرياضيات، لاكتساب الفهم والتوصل إلى استنتاجات دقيقة قائمة على المنهج الرياضي، لأن تخصص تحليل البيانات ليس قائمًا على تعلم بعض الأدوات وحسب، بل قائم بالأساس على فهم عميق ومعرفة متقدمة بالرياضيات، كذلك الإحصاء أعتقد أن أهم مدخل لتحليل البيانات أو علوم البيانات، هو الإحصاء، لاب د أن تكون ملمًا بالإحصاء وتوزيعات البيانات والاحتمالات.

يمكن للإحصاء الوصفي على وجه التحديد أن يساعدك في تلخص كميات كبيرة من المعلومات، وتُمكنك من اتخاذ قرارات بالاعتماد على البيانات، وتساعدك على تحديد الأنماط، مثل: تحديد الشركات التي تستثمر فيها أموالك بالاعتماد تحليل أسواق المال. فهم العلاقة بين انتشار البطالة والجريمة في مراكز الجمهورية، أو توقع نتيجة الإنتخابات المقبلة.

* المواضيع الواجب دراستها أو إتقانها.

أولاً: الإحصاء ثانياً: الجبر الخطي Linear Algebra ثالثًا: الرياضيات المتقطعة Discrete Mathematics

رابعًا: التفاضل والتكامل

ولمعرفة الموضوعات الواجب عليك تعلمها بالتفصيل عليك قراءة تدوينتي السابقة، والتي تناولت فيها بالتفصيل المواضيع الرياضية والإحصائية الواجب دراستها أو إتقانها. لتصبح عالم بيانات إليك خريطة لتعلم الرياضيات

وللمزيد حول الإحصاء ارشح لكم هذه المقالة  ما هي أنواع تحليل البيانات الأربعة؟

ثانياً: برنامج مايكروسوفت إكسل ضروري لكل محلل بيانات

يقلل البعض من برنامج مايكروسوفت إكسل، وذلك  بسبب انتشار صورة  نمطية عن البرنامج بأنه مجرد أداة تقوم  بمجموعة من المعادلات البسيطة، لكن في الحقيقة برنامج مايكروسوفت إكسل لديه الكثير من الأدوات والخصائص التي تؤهلك لتحليل البيانات دون استعمال برنامج آخر، بالإضافة إلى أن غالبية الشركات والمؤسسات الكبيرة وحتى الصغيرة منها يستخدمونه في نشاطاتهم اليومية سواء لتخزين البيانات أو لتحليلها أو لعرضها بصرياً. أرشح لكم دورة مايكروسوفت إكسل من البداية إلى الاحتراف .

يساعدك برنامج مايكروسوفت إكسل أيضاً على  تنظيف سجلات البيانات، ومعالجة الأخطاء الهيكلية التي قد تنشأ أثناء بناء قاعدة البيانات أو في مرحلة إدخال البيانات. للمزيد عن تنظيف البيانات أرشح لكم دورة تنظيف البيانات باستخدام مايكروسوفت إكسل 

كما يقدم إكسل بعض الأدوات المتقدمة:

• الجداول المحورية Pivot Tables: هي عن جداول تفاعلية تلخيصية تساعدك على تحليل وتلخيص كميات كبيرة من البيانات في شكل جدول مركز للحصول على تقارير وتحليلات بشكل يتيح لنا التحكم بالبيانات وترتيبها بعدة طرق،  بسرعة وسهولة.

عندما تقوم بتحويل البيانات إلى جدول محوري سيكون بإمكاننا تحليل البيانات والتركيز على ملخص لقاعدة البيانات بدلًا من التعامل مع الكم الهائل من الصفوف والأعمدة الموجودة في قاعدة البيانات الأساسية.

للمزيد أرشح لكم دورة تحليل البيانات باستخدام الجداول المحورية وهي دورة مجانية.

•  Power query: هو من أعظم الأدوات الموجودة في إكسل وهو متوفر في نسخة إكسل 2016 و2019 و 365 النسخ القديمة يحتاج لتحميل وإضافة الأداة. وهذه الأداة تساعدك على تجريف أو استخراج البيانات وتهيئتها ومعالجتها وتنظيفها بشكل سهل وبسيط.

لكن لماذا باور كويري؟

1-  يمكن لباور كويري استخراج البيانات من أي مصدر:

• ملف Txt/CSV
• ملفات اكسيل
• المجلدات
• خدمات الويب والإنترنت
• قواعد البيانات العلائقية: اكسيس،SQL 
• والعديد من المصادر الأخرى

2- أتمتة  Automation بدون VBA أو كتابة كود حيث تمكنك الأداة من معرفة الخطوات التي قمت بها منها من خلال خانة Applied Steps التي تمكنك بكل من نسخ هذه الخطوات وتطبيقها على قاعدة بيانات جديدة والوصول إلى النتائج النهائية في خطوة واحدة. 

3- من المعروف أن برنامج إكسل يصبح أداؤه أقل مع قواعد البيانات الكبيرة لكن مع باور كويري إكسل بدون حد أقصى لعدد الصفوف أداء أسرع حتى مع كميات هائلة من البيانات.

4- بتعلمك و إتقانك للباور كويري فأنت مؤهل للتعامل مع البرنامج الأشهر في تصميم البيانات مايكروسوفت باور بي آي.

•  Power Pivot:  تقنية تصميم بيانات تتيح لك إنشاء نماذج بيانات وعلاقات وعمليات حسابية. وبفضل Power Pivot، يمكنك استخدام مجموعات كبيرة من البيانات وإنشاء علاقات واسعة النطاق كما يمكنك إنشاء عمليات حسابية معقدة (أو بسيطة)، وكل ذلك في بيئة عالية الأداء وضمن تجربة Excel المألوفة. 

باختصار شديد  Power Pivot هو عبارة عن 3 خطوات:

1. Data Mode: قاعدة بيانات تتكون من مجموعة من الجداول التي ننبني بينها مجموعة من العلاقات بحيث يمكن اعتبارها قاعدة بيانات واحدة ثم إظهار النتائج من خلال جدول محوري أو مخطط بياني.
2. لغة الDax: على عكس الشائع عنها ال DAX  ليست لغة برمجية، هي لغة معادلات أو صيغ مثل المعادلات الموجودة في إكسل، وتتشابه معها في معادلات كثيرة مثل معادلة SUM, COUNT,LEN,LEFT,RIGHT إلخ لكن مع إضافة إمكانيات جديدة، تسهل من عملك وتساعدك على بناء العلاقات بين الجداول وإضافة أعمدة جديدة وتمكنك من التجميع الديناميكي.
3. الجداول المحورية: مخرجات الخطوات السابقة، تكون على هيئة جدول محوري أو Pivot Chart.

في النهاية أصبح Excel أداة قوية لتحليل البيانات بعد أن قام بتوفير PowerPivot و Power Query التي يمكنك من خلالهم تحليل البيانات الضخمة بكل سهولة.

ثالثاُ برنامج متخصص في تصميم البيانات:

بعد أن قمت بتعلم الإحصاء والرياضيات وتمكنت من برنامج مايكروسوفت إكسل،  عليك بتعلم برنامج متخصص في تصميم البيانات، مثل مايكروسوفت باور بي آي Power BI أو برنامج تابلو Tableau

المقارنة صعبة جداً لكن المحدد الأساسي للاختيار هو البرنامج المستخدم في سوق العمل في دولتك أو مدينتك، هنا في مصر مايكروسوفت باور بي آي Power BI هو البرنامج المستخدم في غالبية الشركات.

برنامج تابلو Tableau: هو برنامج لتمثيل البيانات بصرياً، حيث يساعدنا في تبسيط وعرض البيانات في صيغ مفهومة وواضحة.

يعد tableau  أداة ذكاء أعمال، تساعد في تصميم البيانات بصرياً عن طريق السحب والإفلات، كما تمكنك من استكشاف طرق عرض مختلفة للبيانات، عن طريق المخططات والرسوم التفاعلية التي يوفرها البرنامج عن طريق خاصية Show me ، كما يمكنك من إنشاء اللوحات التفاعلية Dashboard، وكذلك دمج البيانات من مصادر وصيغ مختلفة وإجراء عمليات تنظيف وتهيئة للبيانات بدون أي نصوص برمجية معقدة. الأمر أشبه بالسحر  يمكنك تابلو من إنتاج لوحات تفاعلية بشكل احترافي وجذاب مثل هذه DASHBOARD.

أيضا يمكنكم زيارة معرض تابلو لمزيد من الأمثلة Gallery   

تتيح شركة تابلو Tableau البرنامج بأكثر من إصدار، للتعرف عليها أدعوك لقراءة هذا الدرس ما هو تابلو  الذي قمت بكتابته في دورة زميلي محمد حسن تهيئة ومعالجة البيانات باستخدام Tableau

أيضاً أرشح دورة زميلي محمد حسن تصميم البيانات باستخدام Tableau 

برنامج مايكروسوفت باور بي آي Power BI: هي الأداة الأشهر في عالم  ذكاء الأعمال Business Intelligence و تعتبر أداة أساسية لكل محلل بيانات، أو محلل أعمال أو مهندس بيانات، فهي ليست أداة لعرض البيانات وحسب. بل تمكنك من تهيئة وتنظيف ومعالجة البيانات بالإضافة إلى إنشاء علاقات بين الجداول DATA MODEL .

يمكن ل Microsoft Power BI القيام بعدة وظائف مثل:

• تحليل البيانات وإنشاء التقارير وتنظيمها في نموذج بيانات أو مخططات أو رسوم بيانية سهلة القراءة مع إمكانية مشاركة كل هذا مع مستخدمي Power BI الآخرين داخل المؤسسة، ودون الحاجة للاعتماد على متخصصين.
• استخدام نماذج البيانات التي تم إنشاؤها من Power BI بعدة طرق للمؤسسات، بما في ذلك سرد القصص من خلال المخططات وتصورات البيانات وفحص سيناريوهات “ماذا لو” داخل البيانات.
• يمكنك البرنامج من تنفيذ وإنشاء  Dash Board بحيث تقدمها  للمسؤولين أو المديرين، مما يمنح الإدارة مزيدًا من المعرفة حول كيفية أداء الأقسام.

في حالة أردت تعلم البرنامج أرشح لك دورة معالجة وتصميم البيانات باستخدام Power BI

بعد إنهاء تعلمك لهذه البرنامج وفهمك للإحصاء والرياضيات، وإتقان القيام بالعمليات المطلوبة منك من تهيئة ومعالجة وتنظيف وتحليل للبيانات وتصميمها بصرياً فأنت مؤهل للعمل كمحلل بيانات محترف مطلوب بشدة في سوق العمل.

بعد العمل والتطبيق، إذا أردت تطوير مهاراتك والعمل على إنتاج تقارير أكثر إحترافية، في وقت أقل حتى تستطيع التميز عن باقي الزملاء، عليك بتعلم بلغة برمجية توفر الوقت والجهد.

رابعاً تعلم لغة برمجية: 

Python وR هما اللغتان الأكثر استخدامًا في عالم البيانات، وستعمل أي منهما في تحليل البيانات. إذا لم تكن متأكدًا مما ستتعلمه، فأنا أقترح Python، حيث أن بايثون هي اللغة الأكثر شيوعاً في سوق العمل المصري ولهذا السبب فقط ارشحها. 

في البداية أدعوكم لقراءة مقال عمرو العراقي مؤسس مدرسة البيانات بدأت في تعلم البرمجة هذا العام .. وهذا ما تعلمته! 

يقول العراقي “اجادة القراءة ستقودك إلى اجادة الكتابة،على عكس تعلم الأبجدية، نتعلم الأحرف أولًا ونتقن كتابتها ثم نتعلم الكلمات كتابتًا وقراءة لنكون في الأخير قادرين على على كتابة وقراءة الجمل، قراءة الكود البرمجي وفمهك لهيكله وعناصره سيدفعونك للقدرة على محاكاته بالكتابة والتعديل عليها وتطويعه لما يتناسب مع معطياتك، لن تكون مضطرًا لكتابة كود برمجي من البداية للنهاية بنفسك طوال الوقت، وفي كثير من الحلات سوف تلجأ لنسخ كود كُتب مسبقًا وتعدل عليه بعض المسارات والمعطيات البسيطة جدًا، لذلك أوصيك بأن تقرأ أكثر وأن تحاول كتابة كل ما تقرأه بنفسك، فهذا سيزيد من اتقانك لمهارات الكتابة.”

بايثون Python أفضل لغة لإحتراف تحليل البيانات، وهي أكثر اللغات البرمجية شيوعاً،  تعد من لغات البرمجة الأكثر سهولة في التعلم والتعامل، تستخدم في تحليل ومعالجة البيانات.وتمتلك بايثون مجموعة كبيرة من المكتبات. يتم استخدام Python بشكل رئيسي لتجريف البيانات ومعالجة البيانات وتعلم الآلة وتصميم البيانات، بقليل من الجهد يمكنك تعلم الكثير. فهي لغة مفسرة عالية المستوى وموجهة لتجعل هياكل البيانات مدمجة، مع دلالات ديناميكية. يؤكد ذلك  بناء جملة Python البسيط والسهل التعلم على قابلية القراءة .

في بداية تعلمي لهذه اللغة قال لي شخص نصيحة “أننا ندخل إلى عالم بايثون من أجل تعلم اللغة ولكن نبقى هناك بسبب مجتمع مطوريها”، وهو ما اكتشفته فيما بعد، بالنسبة لي الأمر الذي جعلني أتمسك ببايثون وأفضلها عن اللغات الأخرى، هي سهولة أن تخطر فكرة لك وتبدأ بتنفيذها فتنتهي من تنفيذها سريعًا على في عدة ساعات، بسبب كل تلك المساعدات والمكتبات التي يقدمها لك مجتمع مطوري البايثون.

المكتبات في بايثون عبارة عن أجزاء من التعليمات البرمجية التي تم تطويرها، يمكن إعادة استخدامها بما في ذلك مجموعة من الدوال والطرق( تسمح للمستخدم بأداء العديد من المهام دون أن يضطر المستخدم إلى كتابتها).في بعض الأحيان قد تقضي ساعات في كتابة برنامج نصي لمهمة محددة تتطلب وقت كثير. 

إذا أردت أن تعرف أكثر عن المكتبات في بايثون أرشح لك مقالي 10 مكتبات في بايثون يحتاجها كل محلل بيانات  .

إذا لماذا تعد لغة بايثون هي أكثر اللغات شيوعًا في مجال علوم البيانات؟

وذلك لـــــــــ: 

• سهولة تعلمها وسهولة قراءة وكتابة الأكواد بها.
• توفر مجتمع كبير من المطورين الذين يستخدمونها حول العالم.
• الخيار الأمثل لتطبيق نماذج رياضية واحصائية على البيانات، وكذلك تطبيق الخوارزميات المختلفة.
• تحتوي على العديد من مكتبات معالجة وتحليل وتصميم البيانات مثل (Pandas, NumPy, SciPy, SciKit-Learn, Keras, TensorFlow, PyTorch, Seaborn)
• تدخل اللغة في العديد من المجالات مثل (علوم البيانات، تطوير مواقع الويب، صناعة الألعاب، الذكاء الاصطناعي، المعلوماتية الحيوية، برمجة الروبوتات)

لغة آر R تحتوي على بيئة واسعة من البرمجة المجانية، والتي تساعد في الرسومات الإحصائية. مدعومة من مؤسسة R للحوسبة الإحصائية. تستخدم لغة آر على نطاق واسع لتطوير البرامج الإحصائية وتحليل البيانات. تساعد أيضًا في استطلاعات الرأي واستخراج البيانات ودراسات قواعد بيانات الأدبيات العلمية.

إتقانك للغة R يمكنك من استخدام برنامج آر ستوديو RStudio الذي يعد مساحة لتشغيل البرنامج الإحصائي آر R تتكون واجهة البرنامج من مجموعة من النوافذ والتي تساعد على التحكم وإدارة البرنامج بشكل منظم  بحيث تتمكن من إنتاج مخرجات بكل سهولة وإبداع. يوجد عدة نسخ منها المجاني ومنها المدفوع (مخصص للأغراض التجارية).

للمزيد عن R أرشح لكم قراءة مقال  زميلي عمرو العراقي  تنظيف البيانات باستخدام لغة R البرمجية

في النهاية الأمر يحتاج للتطبيق أكثر ومع التدريب المستمر ستصل إلى مرحلة الإحتراف، وكما قلت سابقاً سوق العمل في الوطن العربي يحتاج إلى إتقان إكسل وأحد برامج تصميم البيانات، فأنطلق وأعمل على تزويد مهاراتك أثناء العمل، ولا تنتظر حتى تكون ملماً بكل هذه المهارات، أبدا وتعلم، فهناك طلب حقيقي وحاجه، لمحللي البيانات في كل في غالبية المجالات، لأن هذا العصر هو عصر البيانات، آمل أن أكون استطعت تقديم خارطة طريق ترشدك لتصبح محلل بيانات.