加密破解、逆向重构、高并发cookie池管理、分布式框架及海量存储方案
对爬虫工程师来说，突破反爬是一项重要但并不容易掌握的工作能力，因为反爬涉及的技术领域广泛，知识庞杂，网上也缺乏体系教程。不过别担心，本课中，爬虫技术专家带你深度了解Web端反爬策略，并教你用多手段、多方法破解反爬技术，向高级爬虫工程师晋级，挑战高薪。
适合人群
爬虫工程师
Python工程师
数据分析人员
技术储备
Python语法基础
HTTP理论基础/JS语法基础
了解基础的网络请求
了解代理IP和账号登录
环境参数
语言 Python3.6及以上版本
Chrome浏览器
一件趁手的IDE
章节目录：
第1章 爬虫进阶-突破web反爬-课程导学 试看4 节 | 27分钟
本章节我们主要梳理本课程的学习脉络，和课前环境搭建工作，最最重要的是小布老师给所有想学习爬虫的同学们一些良心学习建议和爬虫重点学习方向梳理，让同学们在开始学习前有一个清晰的学习路线。
收起列表
视频：
1-1 爬虫进阶之破解Web端反爬技术-课程导学 (07:00)
试看
视频：
1-2 给所有爬虫工程师的学习建议 (19:37)
试看
图文：
1-3 课程开发环境搭建文档
作业：
1-4 【讨论题】：爬虫工程师该何去何从？
第2章 必须掌握的HTTP网络基础知识12 节 | 64分钟
爬虫本质就是网络请求，了解了HTTP和HTTPS，可以更好的理解爬虫相关的知识点
收起列表
图文：
2-1 本章知识概要与学习计划
视频：
2-2 为什么HTTPS是安全的？（上） (10:50)
视频：
2-3 为什么HTTPS是安全的？（下） (11:27)
图文：
2-4 http状态码告诉我们哪个环节出了问题？
视频：
2-5 这些 http 请求头信息出卖了爬虫？（上） (13:00)
视频：
2-6 这些 http 请求头信息出卖了爬虫？（下） (11:50)
图文：
2-7 每次http协议升级分别解决什么问题？
视频：
2-8 爬虫如何解决 https 证书认证？ (13:16)
视频：
2-9 证书信息的补充 (03:29)
作业：
2-10 【选择题】HTTP的基础知识点
图文：
2-11 本章知识点总结
作业：
2-12 【讨论题】：Cookie 和 Session 在爬虫中的应用
第3章 手把手教你搭建代理服务12 节 | 101分钟
代理服务是爬虫必须使用加速工具，自建代理服务也是爬虫的必修课。
收起列表
图文：
3-1 本章知识概要与学习计划
视频：
3-2 纵向对比各大代理IP服务商的优劣（1） (08:54)
视频：
3-3 纵向对比各大代理IP服务商的优劣（2） (14:49)
视频：
3-4 纵向对比各大代理IP服务商的优劣（3） (10:44)
视频：
3-5 用squid自建代理服务（1） (12:56)
视频：
3-6 用squid自建代理服务（2） (13:58)
视频：
3-7 创建加密的squid代理服务（3） (22:19)
图文：
3-8 squid+vps 搭建代理池的技术方案
视频：
3-9 一起分析第三方代理产品的应用场景 (17:07)
作业：
3-10 【简答题】使用 squid+vps 搭建第三方服务的优势在哪
图文：
3-11 本章知识点复习与总结
作业：
3-12 讨论题】你还知道有哪些代理服务方案？
第4章 破解加密登录的过程17 节 | 215分钟
现在网络要求实名制，则爬虫也需要一个身份，破解加密登录，爬虫就实现可以身份七十二变。
收起列表
图文：
4-1 本章知识概要与学习计划
图文：
4-2 明文传输和密文传输
图文：
4-3 了解账号信息加密的通用算法
视频：
4-4 通过抓包逆向分析js代码（1） (11:26)
视频：
4-5 通过抓包逆向分析js代码（2） (12:47)
视频：
4-6 通过抓包逆向分析js代码（3） (20:35)
图文：
4-7 Chrome开发者工具一览（本章未完待续)
视频：
4-8 开发者工具栏的网络栏使用说明（图文补充视频） (01:33)
视频：
4-9 无限Debugger产生的原因和突破方法 (23:16)
视频：
4-10 添加BreakPoint调试JS堆栈内容（上） (20:22)
视频：
4-11 添加BreakPoint调试JS堆栈内容（下） (22:38)
视频：
4-12 适用ReRes篡改和伪装JS内容 (30:30)
作业：
4-13 【作业题】：简述逆向突破JavaScript加密
视频：
4-14 Python逆向重构加密函数（上） (19:43)
视频：
4-15 Python逆向重构加密函数（下） (23:15)
视频：
4-16 Python调度JS文件实现密码加密 (28:17)
图文：
4-17 本章知识点复习与总结复盘
第5章 Cookie池的搭建和维护 20 节 | 287分钟
单个账号是不足以抓到海量数据，所以Cookie池就是给爬虫提供海量的身份信息去隐藏自己。
收起列表
图文：
5-1 本章知识概要与学习计划
图文：
5-2 Cookie的来源和重要性
视频：
5-3 Cookie池的使用场景 (14:02)
视频：
5-4 Cookie的属性和时效说明 (20:02)
视频：
5-5 Session和Cookie的共同点和区别 (16:36)
视频：
5-6 用Python对Cookie进行持久化和装载复用（1） (21:04)
视频：
5-7 用Python对Cookie进行持久化和装载复用（2） (14:57)
视频：
5-8 用Python实现对Cookie的协助式提取和复用（1） (16:49)
视频：
5-9 用Python实现对Cookie的协助式提取和复用（2） (16:35)
视频：
5-10 用Python实现对Cookie的协助式提取和复用（3） (22:33)
图文：
5-11 Cookie的维护方案和管理系统
作业：
5-12 【作业题】从浏览器中提取Cookie并用脚本请求
视频：
5-13 一键部署大批量的Cookie调试环境（上） (20:25)
视频：
5-14 一键部署大批量的Cookie调试环境（下） (26:54)
视频：
5-15 【Cookie实战】复杂登录过程的Cookie调试环境-上 (25:00)
视频：
5-16 【Cookie实战】复杂登录过程的Cookie调试环境-下 (09:50)
视频：
5-17 【社交平台实战】提取Cookie保存到Cookie池中 (16:37)
视频：
5-18 【Cookie实战】高并发维护上万Cookie的有效性（上） (14:48)
视频：
5-19 【Cookie实战】高并发维护上万Cookie的有效性（下） (29:59)
图文：
5-20 本章知识点复习与总结
第6章 调度浏览器降低分析难度
爬虫和网站反爬的博弈是无止尽，但是网站必须服从浏览器的运行规则，适度使用浏览器，降低难度，提高开发效率。
第7章 逆向破解被加密的数据
数据越值钱，藏的就越深，数据加密是非常容易碰到的。掌握加密技巧做解密操作，也是必修课之一。
第8章 反爬的实战练习
做一次反爬的专题训练，针对不同的反爬技巧做定向的突破练习。
第9章 分布式爬虫架构方案
海量数据的抓取，还是上分布式爬虫，架构的可拓展性，可以几何倍数的增加爬虫性能，快速的拿到海量数据。
第10章 爬虫工程师简历指导
在本章小布老师会结合大家所学内容进一步给出专属爬虫工程师的学习路线指引，学习方法和资料推荐，还会专门为爬虫工程师的简历做一些指导建议，大家有此类困惑也可以在问答区继续和小布老师交互，感谢大家的学习。
评论0