PS：如果需要Python学习资料，可以点击下面的链接自行获取。
基本步骤和规划
调试环境：
pycharm+python3
所需的库：
（http.cookiejar是后续爬虫会用到的库，本项目不涉及反爬，所以不需要添加）
如果导入过程显示上述库不存在获取网站源码如何，可以通过点击文件左侧+→settings→projetinterpreter来添加（如果使用anaconda或者python获取网站源码如何，也可以直接运行这个项目，添加即可通过cmd→pipinstall）
2、本文我们使用python爬取在线短视频，下载并存储。 基本步骤如下（大家可以写评论来整理一下自己的想法）：
（1）分析页面URL和视频文件URL的特征（2）获取网页源代码HTML并解决反爬虫机制（3）视频的批量下载和存储
分析页面URL和文件URL的特征
1.分析网页URL
通过网页的URL：，我们可以找到最后一个针对不同页脚而变化的知识URL的值，而这个值代表的是页数，所以我们只需要改成固定的URL+变量即可获取URL网站的批量
2. 分析文件名URL
通过分析网页中的mp4文件名，发现该文件的URL是以明文形式显示的，因此可以通过匹配re的正则模式来获取。
批量获取URL并从中提取视频的URL
import urllib.request
import re
for page in range (1,20):
req = urllib.request.Request("http://www.budejie.com/video/%s" % page)
html = urllib.request.urlopen(req).read()
html = html.decode('UTF-8')
print(html)1.批量抓取网页URL
这里我们的页面变量代表页面的编码。 现在我们将从这里抓取前 20 页。
（1）req获取网页反馈（2）html通过函数获取网页的meta代码（3）通过对源代码进行UTF-8编码，恢复英文显示。
并且通过执行上面的代码发现错误显示为httpError403，因为无法获取网页的反爬虫机制。
2.通过页面减少头文件
我们通过微软浏览器访问该页面，按F12切换到Network，刷新界面观察访问过程，我们可以从流程文件中选择一个视图头文件，添加到代码中，（这里选择的baisibudejie.js）修改代码如下，即可正常抓取界面。
for page in range (1,20):
req = urllib.request.Request("http://www.budejie.com/video/%s" % page)
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")
html = urllib.request.urlopen(req).read()
html = html.decode('UTF-8')
print(html)批量下载视频并创建文件名存储
1.构造一个循环结构来批量命名
构建好循环结构后，需要保存文件名才能下载。 i.split("/")[-1]的含义是分割i，使用'/'作为分隔符，保留最后一段，即MP4文件名。
2.批量下载
还是需要添加一个显示的输出语句来表示进度，这也符合程序的交互性，即下载视频时显示进度，最后下载到mp4文件夹中
for i in re.findall(reg, html):
filename = i.split("/")[-1] # 以‘/ ’为分割f符，保留最后一段，即MP4的文件名
print('正在下载%s视频' % filename)
urllib.request.urlretrieve(i, "mp4/%s" % filename)1. 构建完整的程序
作为一名合格的程序员，需要对程序进行梳理并添加注释，以方便理解和后续修改。
import urllib.request
import re
def getVideo(page):
req = urllib.request.Request("http://www.budejie.com/video/%s" %page)
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")
html = urllib.request.urlopen(req).read()
html = html.decode('UTF-8')
reg = r'data-mp4="(.*?)"'
for i in re.findall(reg,html):
filename = i.split("/")[-1]#以‘/ ’为分割f符，保留最后一段，即MP4的文件名
print ('正在下载%s视频' %filename)
urllib.request.urlretrieve(i,"mp4/%s"%filename)
for i in range (1,20):
getVideo(i)
发表评论