10 مكتبات في بايثون يحتاجها كل محلل بيانات
بايثون أفضل لغة لإحتراف تحليل البيانات، وهي أكثر اللغات البرمجية شيوعاً، وتمتلك بايثون مجموعة كبيرة من المكتبات. يتم استخدام Python بشكل رئيسي لتجريف البيانات ومعالجة البيانات وتعلم الآلة وتصميم البيانات.
في بداية تعلمي قال لي مديري في العمل، أننا كمحللي بيانات ندخل إلى عالم بايثون من أجل تعلم اللغة ولكن نبقى هناك بسبب مجتمع مطوريها، وهو ما اكتشفته فيما بعد، بالنسبة لي الأمر الذي جعلني أتمسك ببايثون وأفضلها عن اللغات الأخرى، هي سهولة أن تخطر فكرة لك وتبدأ بتنفيذها فتنتهي من تنفيذها سريعًا على في عدة ساعات، بسبب كل تلك المساعدات والمكتبات التي يقدمها لك مجتمع مطوري البايثون.
المكتبات في بايثون عبارة عن أجزاء من التعليمات البرمجية التي تم تطويرها، يمكن إعادة استخدامها بما في ذلك مجموعة من الدوال والطرق( تسمح للمستخدم بأداء العديد من المهام دون أن يضطر المستخدم إلى كتابتها).في بعض الأحيان قد تقضي ساعات في كتابة برنامج نصي لمهمة محددة تتطلب وقت كثير.
حتى لا يختلط عليك عليك الأمر استخدامك للمكتبات، لا يعني أنك لن تكتب أكواد ولكنها استدعاء لبعض الأوامر التي تسهل من عملك، المكتبات في بايثون كثيرة وتتنافس لمساعدتك ولكن السؤال الذي يُطرح دائمًا، ما هي أهم المكتبات التي يجب أن اتعلمها؟ يوجد الآلاف من المكتبات في بايثون. ولكن في هذه التدوينة سوف أستعرض لكم، أفضل 10 مكتبات قمت باستخدامها خلال عامي الأول من تعلم بايثون.
يمكن تقسيم المكتبات إلى أربعة أنواع وفقاً للغرض من استخدامها
أولاً: مكتبات خاصة بتجريف البيانات
تجريف البيانات!!، قــد تكــون هــي المرة الأولى التـي تسـمع فيهـا هـذا المصطلح والمقصود بــه هو استخراج البيانات مــن الصيـغ المختلفــة التــي عــادة مــا تكــون صعبــة التعامل معهـا حاسوبياً، ووضعها في صورة يسهل تعامل الحاسوب بحيث يمكن تحليلها بكل سهولة. والمكتبات التي تقوم بتجريف البيانات في بايثون هي:
Scrapy
تعد Scrapy من أشهر مكتبات بايثون في إستخراج البيانات من مواقع الويب. تساعد هذه المكتبة في تحريف البيانات من مواقع الويب بطريقة فعالة.وتخزينها على شكل بيانات منظمة (جداول ، قواعد بيانات .. ) لتحليلها أو إعادة استخدامها.
تقوم مكتبة Scrapy بتجريف البيانات من HTML/XML عن طريق مسارات XPath والمحددات CSS selectors كما يدعم التعابير القياسية Regex .وتقوم بتصدير البيانات على هيئة (JSON, CSV, XML) على وسائط التخزين المختلفة (FTP, S3, local filesystem) .
مصدر لتعلم المكتبة https://docs.scrapy.org/en/latest
لتثبيت المكتبة في محرر الاكواد لديك قم بكتابة:
pip install ScrapyBeautifulSoup
BeautifulSoup هي واحدة من أفضل مكتبات برامج زاحف الويب crawler Web وأكثرها شيوعًا والتي يمكن استخدامها لاستخراج البيانات من ملفات HTML و XML. تساعدك هذه المكتبة في تنظيف وتحليل المستندات المستخرجة من صفحات الويب. هذا يوفر ساعات أو أيام للمبرمجين والمحللين. يمكن القول أن BeautifulSoup أفضل من Scrapy ولذلك أنصحكم باستخدامها.
مصدر لتعلم المكتبة https://www.crummy.com/software/BeautifulSoup
لتثبيت المكتبة في محرر الاكواد لديك قم بكتابة:
pip install beautifulsoup4 ثانياً: مكتبات خاصة بالإحصاء الرياضي وتحليل البيانات
NumPy
NumPy هي مكتبة أساسية للحسابات الرياضية والعلمية. تدعم المكتبة المصفوفات والمصفوفات الكبيرة متعددة الأبعاد، بالإضافة إلى مجموعة كبيرة من الدوال الرياضية للعمل على هذه المصفوفات. مما لا شك فيه أن NumPy هي مكتبة يجب أن تتعلمها إذا كنت مهتمًا بعلم البيانات. فهي سريعة في عمليات القراءة والكتابة وتُعتبر أكثر كفاءةً ومتانة عن المكتبات الأخرى. وتدعم عمليات الجبر الخطي و Fourier transform بشكل سهل وسريع. وتعتمد عليها كثير من المكتبات الأخرى مثل Pandas و theanets وغيرهما.
مصدر لتعلم المكتبة https://python-course.eu/numerical-programming/introduction-to-numpy.php
لتثبيت المكتبة في محرر الاكواد لديك قم بكتابة:
pip install numpyPandas
تعد Pandas واحدة من أهم مكتبات علم البيانات المستخدمة لإنشاء هياكل البيانات. توفر Pandas مرونة قوية في إنشاء هياكل البيانات لعلم البيانات. الآن يمكن أن يخلق هياكل بيانات متعددة الأبعاد، مهيكلة، غير متجانسة، إلخ. بالإضافة إلى ذلك، تُستخدم هذه المكتبة لتحليل القواعد النحوية والبيانات. تسهل المكتبة عمليات (Data Preprocessing) مثل تنظيف البيانات، ومعالجة القيم الفارغة فيها، وإجراء العمليات الاستكشافية على البيانات.
والغرض الرئيسي لمكتبة Pandas هو Data Munging، و هو إجراء تغييرات على بيانات أساسية غير مرتبة Raw data بحيث يتم تحويلها إلى شكل آخر يمكن فهمه والتعامل معه.
مصدر لتعلم المكتبة https://pandas.pydata.org/pandas-docs/stable/user_guide/10min.html
لتثبيت المكتبة في محرر الاكواد لديك قم بكتابة:
pip install pandas SciPy
SciPy هي مكتبة بايثون أخرى تُستخدم لحل المسائل العلمية والرياضية وهي مبنية على المكون الإضافي NumPy تعد الحوسبة الرقمية جانبًا مهمًا من علم البيانات، ويمكن لـ SciPy توجيه علماء البيانات في حل المسائل الرياضية المعقدة. يمكن القول إن SciPy هو إصدار متقدم من NumPy يحتوي على ميزات إضافية مثل النسخة الجبرية الكاملة. SpiCy سريع ولديه قدرة حوسبة عالية. تقدم المكتبة أدوات خاصة بمعالجة الإشارات. وتوفر المكتبة مجموعة من الدوال الخاصة بمعالجة المصفوفات متعددة الأبعاد لمعالجة الصور. كما تدعم عمليات الجبر الخطي و Fourier transform.
مصدر لتعلم المكتبة https://numpy.org/learn
لتثبيت المكتبة في محرر الاكواد لديك قم بكتابة:
pip install scipyثالثاً: مكتبات خاصة بتعلم الآلة
Keras
Keras هي مكتبة بايثون مفتوحة المصدر تُستخدم على نطاق واسع لتعليم نماذج التعلم العميق. توفر هذه المكتبة واجهة إطار TensorFlow ،مما يتيح إجراء تجارب سريعة مع الشبكات العصبية العميقة. بالإضافة إلى ذلك، فإن استخدام هذه المكتبة بسيط للغاية. يسبب أن Keras توفر واجهة برمجة تطبيقات متسقة وموجزة، والتي يمكن أن تقلل إلى حد كبير من عبء العمل على المستخدمين في التطبيقات العامة.
مصادر لتعلم المكتبة https://keras.io
لتثبيت المكتبة في محرر الاكواد لديك قم بكتابة:
pip install keras TensorFlow
TensorFlow هي واحدة من مكتبات بايثون الأكثر استخدامًا لمعالجة البيانات والنمذجة، تم إنشائها بواسطة فريق Google Brain، وهي مكتبة مفتوحة المصدر للحساب الرقمي وتعلم الآلة على نطاق واسع بالإضافة إلى أنها مكتبة مهمة لتعلم الآلة في بايثون. يعمل TensorFlow على بناءً على الرسوم البيانية لتدفق البيانات التي تحتوي على عُقد وحواف. نظرًا إلى أن آلية التنفيذ رسومية، فمن الأسهل بكثير تنفيذ كود TensorFlow أثناء استخدام وحدة معالجة الرسومات.
مصدر لتعلم المكتبة https://www.tensorflow.org/learn
لتثبيت المكتبة في محرر الاكواد لديك قم بكتابة:
pip install tensorflow PyTorch
PyTorch هو إطار عمل تعلم آلي وتعلم عميق مفتوح المصدر طوره باحثو AI Facebook .يستخدم العديد من علماء البيانات حول العالم PyTorch على نطاق واسع لمعالجة مسائل اللغة الطبيعية ورؤية الكمبيوتر. يمكن لعلماء البيانات تصميم الرسوم البيانية الحسابية ديناميكيًا عبر PyTorch.
لتثبيت المكتبة في محرر الاكواد لديك قم بكتابة:
pip install torch torchvision torchaudioScikit-Learn
يستخدم علماء البيانات Learn-Scikit لنمذجة البيانات إحصائيًا بما في ذلك التصنيف و تقليل الأبعاد والتجميع والتوقع. يعتمد Learn-Scikit على مكتبات NumPy وMatplotlib .يعد تقليل حجم البيانات أحد أكثر الميزات المفيدة في Learn-Scikit .لأن البيانات الناتجة ستكون أقل تعقيدًا، تُقدم مكتبة Scikit-Learn للمستخدمين مجموعة من الخوارزميات الخاصة بتعلم الالة وتسهل عليهم تشغيل وتنفيذ هذه الخوارزميات على البيانات بشكل مباشر.
مصدر لتعلم هذه المكتبة http://machinelearningmastery.com/a-gentle-introduction-to-scikit-learn-a-python-machine-learning-library/
لتثبيت المكتبة في محرر الاكواد لديك قم بكتابة
pip install scikit-learn رابعاً: مكتبات خاصة بتصميم البيانات
Matplotlib
يعد رسم المخططات أحد الخطوات الأساسية أثناء تحليل البيانات وإدارتها. تعد Matplotlib واحدة من أكثر المكتبات شيوعًا في مجتمع بايثون في مجال Visualization، و تمكن مستخدميها من بناء الرسومات البيانية والتوضيحية بشكل سريع وسهل ، Matplotlib ترتبط بعدة مكتبات وأدوات أخرى مثل Pandas وأداة Jupyter لتساعد من استدعاء أوامر الرسومات بشكل مباشر.بحيث تمكنك من تحويل مجموعات البيانات المعقدة إلى تصميمات أسهل للفهم.
مصدر لتعلم المكتبة https://pythonprogramming.net/matplotlib-python-3-basics-tutorial
لتثبيت المكتبة في محرر الاكواد لديك قم بكتابة:
pip install matplotlib Seaborn
Seaborn هي مكتبة من أشهر مكتبات بايثون في تصميم البيانات وتعتمد على Matplotlib وتستخدم على نطاق واسع لرسم البيانات. تمكنك هذه المكتبة من إنشاء خرائط حرارية كما توفر Seaborn لتصور البيانات هائل.
مصدر لتعلم المكتبة
https://seaborn.pydata.org/?fbclid=IwAR0Ow5eJS3wfr49uarhth3zzXogPZEKCxRqJmZYVW-mIxIequxu7Bism60I
لتثبيت المكتبة في محرر الاكواد لديك قم بكتابة:
pip install seaborn
التعليقات