← Retour au parcours
Étape 2 · Niveau 4
Web scraping
Du protocole HTTP à requests, Selenium et Scrapy : apprendre à collecter des données sur le web et via des API, de façon responsable, pour alimenter l'analyse de données et l'IA.
Web Scraping · Cours en chinois ou en français
Durée
Petit groupe
60 - 72 heures
Idéalement après le cours d'analyse de données, pour savoir exploiter ce qu'on collecte
Cours particulier
48 heures
Pas besoin de se réinscrire : j'explique jusqu'à ce que ce soit compris, et je réponds à vos questions à tout moment
Programme
- 01Bases du web : protocole HTTP, requêtes et réponses
- 02Les outils de développement du navigateur
- 03La bibliothèque requests
- 04Les expressions régulières
- 05XPath et lxml
- 06BeautifulSoup
- 07JSON et API
- 08Stockage : CSV, Excel, MySQL, MongoDB
- 09Pages dynamiques : Selenium, Playwright
- 10Scraping multithread et asynchrone
- 11Le framework Scrapy
- 12Scraper dans les règles : robots.txt, CGU, RGPD
Projets
- Mini-projetScraper un site de citations (conçu pour s'entraîner)
- Mini-projetScraper un catalogue de livres et comparer les prix
- Mini-projetCollecter des données météo via une API
- Projet finalCollecte et analyse d'offres d'emploi(Visualisation avec les outils du cours d'analyse de données)
- Projet finalAgrégateur d'actualités avec Scrapy
- Projet bonusCollecte automatique et tableau de bord
Ce que vous saurez faire
- Comprendre comment une page arrive dans le navigateur et l'analyser avec les DevTools
- Récupérer des pages et des données d'API avec requests
- Extraire les données avec les regex, XPath et BeautifulSoup
- Scraper des pages dynamiques chargées en JavaScript
- Enregistrer les données dans des fichiers et des bases de données pour les analyser ensuite
- Maîtriser Scrapy pour écrire des scrapers rapides et fiables
- Savoir ce qu'on a le droit de collecter, et scraper de façon responsable
Réalisations
Scraper un site de citations 
Prix de 1 000 livres : collecte et analyse 
Données météo via une API, en graphique
Me contacter
Envie de vous inscrire, ou vous ne savez pas par quel niveau commencer ? Contactez-moi : on commence par un cours d'essai gratuit, puis je vous conseille le cours et la formule adaptés à votre niveau.
Une fois inscrit, vous pouvez me poser toutes vos questions de programmation, à tout moment. —— LIN Tianyuan
- WeChatLuhan_cola
- WhatsApp+33 7 68 91 59 34Cliquez pour m'écrire directement
- Xiaohongshu (RedNote)柠檬小帽Ouvrir le profil pour voir les avis des élèves