← 返回课程路线
第二阶段 · 第四关
Python 爬虫
从 HTTP 原理到 requests、Selenium 和 Scrapy，学会合规地从网页和接口批量获取数据，为数据分析和 AI 准备原材料。
Web Scraping · 中文或法语授课
持续时间
小班
60 - 72 小时
建议先学完数据分析，抓下来的数据才知道怎么用
一对一
48 小时
不需要再报班，不会讲到会为止，任意时段 1 对 1 解决编程问题
课程大纲
- 01网络基础：HTTP 协议、请求与响应
- 02浏览器开发者工具DevTools
- 03requests 库
- 04正则表达式re
- 05XPath 与 lxml
- 06BeautifulSoup
- 07JSON 与 API 接口
- 08数据存储：CSV、Excel、MySQL、MongoDB
- 09动态网页抓取：Selenium、Playwright
- 10多线程与异步爬虫asyncio / aiohttp
- 11Scrapy 框架
- 12爬虫合规：robots.txt、网站条款、个人数据保护
课程项目
- 小项目名言网站抓取（专为练习爬虫搭建的网站）
- 小项目图书网站抓取与价格整理
- 小项目天气数据接口采集
- 结班项目招聘信息采集与分析（抓取后用数据分析课学到的方法做可视化）
- 结班项目Scrapy 新闻聚合爬虫
- 拓展项目定时采集 + 数据看板
目标收获
- 理解网页是怎么传到浏览器里的，会用开发者工具分析网页
- 能用 requests 抓取网页和接口数据
- 熟练使用正则、XPath、BeautifulSoup 解析数据
- 能抓取需要 JavaScript 加载的动态网页
- 会把数据存进文件和数据库，方便后续分析
- 掌握 Scrapy 框架，写出高效、稳定的爬虫
- 知道哪些能爬、哪些不能爬，做一个守规矩的爬虫工程师
项目展示
名言网站抓取 
1000 本书的价格抓取与分析 
天气接口采集与可视化
报名咨询
想报名或不确定从哪一关开始？直接联系我，先上一节免费试听课，我会根据你的基础推荐合适的课程和班级。
报任意课程后，遇到编程上的所有问题都可以随时询问我。 —— LIN Tianyuan
- 微信Luhan_cola
- WhatsApp+33 7 68 91 59 34点击直接打开 WhatsApp 对话
- 小红书柠檬小帽点击打开主页，可以看到学员好评