互联网数据呈爆炸式增长，借助Python爬虫，我们可以获得大量有价值的数据：
1. 爬取数据，进行市场监管和业务分析
从知乎抓取优质答案，筛选每个主题下的最佳内容； 抓取房地产网站买卖信息，分析楼市走势，分析不同地区的楼价； 爬取紧急招聘网站上的职位信息，分析各行业的人才需求和薪资水平。
2. 作为机器学习和数据挖掘的原始数据
比如你想做一个推荐系统，那么你可以爬取更多维度的数据，做出更好的模型。
3.爬取优质资源：图片、文字、视频
爬取商品（店铺）评论及各类图片网站，获取图片资源和评论文本数据。
掌握正确的方法，在短时间内做到可以爬取主流网站的数据，这其实是很容易实现的。
但建议您从一开始就有一个具体的目标。 在目标的驱动下，你的学习会变得更加准确和高效。 这里为您提供一条流畅的、零基础的快速入门学习路径：
1.了解爬虫的基本原理和流程
2.Requests+Xpath实现通用爬虫例程
3.了解非结构化数据的存储
4、特殊网站的反爬虫措施
5. Scrapy和MongoDB，高级分布式
以下是一些适合您的爬虫项目：
有些项目可能比较老，不能再使用了。 你可以参考一下。 重要的是一种思维方式。 我希望它能帮助你
(1)微信公众号爬虫
地址：
基于搜狗微信搜索的微信公众号爬虫socket可以扩展为基于搜狗搜索的爬虫。 返回的结果是一个列表，每一项都是公众号具体信息的字典。
(2)豆瓣阅读爬虫
地址：
您可以爬下豆瓣阅读标签下的所有书籍，按照评分顺序存储，并存储在Excel中，方便您过滤和搜索，例如过滤1000个评论者以上的高分书籍; 您可以根据不同的主题将它们存储在不同的Excel表格中，使用User Agent冒充浏览器进行爬行，并添加随机延迟以更好地模仿浏览器行为，避免爬虫被阻止。
(3)知乎爬虫
地址：
本项目的功能是爬取知乎用户信息以及人际拓扑关系。 爬虫框架使用scrapy，数据存储使用mongo
(4)bilibili用户爬虫
地址：
数据总量：20119918去哪儿网站源码，抓取数组：用户id、昵称、性别、头像、等级、经验值、粉丝数、生日、地址、注册时间、签名、等级、经验值等。爬取后生成bilibili用户数据报告。
(5) 新浪微博爬虫
主要抓取新浪微博用户的个人信息、微博信息、粉丝和关注度。 代码获取新浪微博cookie进行登录，可以多账号登录，避免新浪的防扒窃。 主要使用scrapy爬虫框架。
(6)新颖下载分布式爬虫
使用 scrapy、redis、MongoDB 和 Graphite 实现的分布式网络爬虫。 底层存储MongoDB集群。 分发是使用Redis实现的。 爬虫状态显示是使用石墨实现的。 主要针对小说网站。
(7)知网爬虫
设置搜索条件后，执行src/CnkiSpider.py抓取数据，抓取的数据存放在/data目录下。 每个数据文件的第一行是数组的名称。
(8)链接网络爬虫
爬取历年北京地区链家二手房交易记录。 涵盖了链家爬虫文章的所有代码，包括链家模拟登录代码。
(9)京东爬虫
基于scrapy的易迅网站爬虫，保存为csv格式。
(10)QQ群爬虫
批量抓取QQ群信息，包括群名、群号、群号、群主、群简介等，最终生成XLS(X)/CSV结果文件。
(11) 乌云爬行者
暗云暴露了漏洞、知识库爬虫和搜索。 所有公开的漏洞列表以及每个漏洞的文本内容都存储在MongoDB中，大约2G； 如果整个站点爬取所有文字和图片作为离线查询，大约需要10G空间和2小时（10M联通带宽）； 爬取所有知识库，总共约500M空间。 漏洞搜索使用 Flask 作为 Web 服务器，bootstrap 作为后端。
年无心：Python迈入高薪，踏上人生巅峰之路 zhuanlan.zhihu.com
(12)hao123网站爬虫
以hao123为入口页面，滚动抓取外部链接，收集URL，记录URL上的内部链接和外部链接数量，记录标题等信息，在windows7 32位上测试，目前每24小时一次去哪儿网站源码，可以得到的数据收集到的大约是10万个。
（13）票务爬虫（去哪儿、携程）
Findtrip是一款基于Scrapy的机票爬虫，目前集成了国外两大机票网站（去哪儿+携程）。
(14)163蜘蛛
网易客户端基于requests、MySQLdb、torndb的内容爬虫。
(15) 豆瓣蜘蛛
Python编写的豆瓣视频、书籍、群、相册、东西等爬虫
(16)QQ空间爬虫
包括日志、聊天记录、个人信息等，一天可抓取400万条数据。
(17) 百度音乐蜘蛛
百度mp3全站爬虫，使用redis支持断点续传。
(18)淘宝及淘宝爬虫
根据搜索关键字和item id抓取页面的信息，数据存储在mongodb中。
(19) 斯德哥尔摩
一个股票数据（沪深）爬虫及选股策略测试框架。 根据选定的日期范围，抓取沪深股市所有股票的行情数据。 支持使用表达式定义选股策略。 支持多线程。 将数据保存到 JSON 文件、CSV 文件。
(20)百度云蜘蛛
百度云盘爬虫。
(21)社交数据爬虫
支持微博、知乎、豆瓣。
(22)代理池
Python爬虫代理IP池（proxy pool）。
(23)网易云音乐
发表评论