文章目录
一、前言二、需要导入的库三、实现过程1、下载链接分析2、代码分析3、完整代码四、blogger's speech(免费学习推荐：python视频教程)
一、前言
之前爬取了很多静态网页的内容，包括：小说、图片等等，今天我来尝试一下动态网页的爬取。众所周知，百度图片就是一个动态网页。那么，冲！冲！！冲！！！
二、需要导入的库
import requestsimport jsonimport os
三、实现过程
1、下载链接分析首先，打开百度，搜索一个内容，这里搜索的是男神（本人 ）——彭于晏
然后，打开抓包工具，选择xhr选项，按ctrl+r，然后你会发现，随着你鼠标的滑动，右侧会出现一个又一个的数据包。
（这里没滑动太多，一开始因为滑动太多，录的gif超5m了）
然后，选一个包，查看它的headers，如图：
截取之后，粘贴在记事本上，作为一个url，后文会用到。
这里有很多很多的参数，我也不知道具体哪些是可以忽略的，后文就索性全复制下来了，具体看后文。
到这里，能够直接观察到的内容就结束了，接下来，借助代码，帮我们打开另一个世界的大门
冲就完事了！
2、代码分析首先：把上述中的“其它参数”组在一起。
自己做的话，最好复制自己的“其它参数”。
之后，我们可以先提取一下试试，并且把编码格式改成'utf-8'
url = 'https://image.baidu.com/search/acjson?' param = { 'tn': 'resultjson_com', 'logid': ' 7517080705015306512', 'ipn': 'rj', 'ct': '201326592', 'is': '', 'fp': 'result', 'queryword': '彭于晏', 'cl': '2', 'lm': '-1', 'ie': 'utf-8', 'oe': 'utf-8', 'adpicid': '', 'st': '', 'z': '', 'ic': '', 'hd': '', 'latest': '', 'copyright': '', 'word': '彭于晏', 's': '', 'se': '', 'tab': '', 'width': '', 'height': '', 'face': '', 'istype': '', 'qc': '', 'nc': '1', 'fr': '', 'expermode': '', 'force': '', 'cg': 'star', 'pn': '30', 'rn': '30', 'gsm': '1e', } # 将编码形式转换为utf-8 response = requests.get(url=url, headers=header, params=param) response.encoding = 'utf-8' response = response.text print(response)
运行结果如下：
看上去挺乱的哈，没事，我们给包装一下！
在上面的基础上加上：
# 把字符串转换成json数据 data_s = json.loads(response) print(data_s)
运行结果如下：
和上面相比，已经明晰很多了，但依旧不够明确，为什么呢？因为它打印的格式不方便我们观看！
对此，有两种解决办法。
①导入pprint库，接着输入pprint.pprint(data_s)，就能打印啦，如下图
②使用json在线解析器（自行百度），结果如下：
解决掉上一步，我们会发现，想要的数据都在data里面！
那么就提取吧！
a = data_s[data] for i in range(len(a)-1): # -1是为了去掉上面那个空数据 data = a[i].get(thumburl, not exist) print(data)
结果如下：
到这里，已经成功90%啦，剩下的就是保存和优化代码了！
3、完整代码这部分和上面有些许不同，仔细看看就会发现嗷！
# -*- coding: utf-8 -*-@author ：远方的星@time : 2021/2/27 17:49@csdn ：https://blog.csdn.net/qq_44921056@腾讯云 ： https://cloud.tencent.com/developer/user/8320044import requestsimport jsonimport osimport pprint# 创建一个文件夹path = 'd:/百度图片'if not os.path.exists(path): os.mkdir(path)# 导入一个请求头header = { 'user-agent':'mozilla/5.0 (macintosh; intel mac os x 11_1_0) applewebkit/537.36 (khtml, like gecko) chrome/87.0.4280.88 safari/537.36'}# 用户（自己）输入信息指令keyword = input('请输入你想下载的内容：')page = input('请输入你想爬取的页数：')page = int(page) + 1n = 0pn = 1# pn代表从第几张图片开始获取，百度图片下滑时默认一次性显示30张for m in range(1, page): url = 'https://image.baidu.com/search/acjson?' param = { 'tn': 'resultjson_com', 'logid': ' 7517080705015306512', 'ipn': 'rj', 'ct': '201326592', 'is': '', 'fp': 'result', 'queryword': keyword, 'cl': '2', 'lm': '-1', 'ie': 'utf-8', 'oe': 'utf-8', 'adpicid': '', 'st': '', 'z': '', 'ic': '', 'hd': '', 'latest': '', 'copyright': '', 'word': keyword, 's': '', 'se': '', 'tab': '', 'width': '', 'height': '', 'face': '', 'istype': '', 'qc': '', 'nc': '1', 'fr': '', 'expermode': '', 'force': '', 'cg': 'star', 'pn': pn, 'rn': '30', 'gsm': '1e', } # 定义一个空列表，用于存放图片的url image_url = list() # 将编码形式转换为utf-8 response = requests.get(url=url, headers=header, params=param) response.encoding = 'utf-8' response = response.text # 把字符串转换成json数据 data_s = json.loads(response) a = data_s[data] # 提取data里的数据 for i in range(len(a)-1): # 去掉最后一个空数据 data = a[i].get(thumburl, not exist) # 防止报错key error image_url.append(data) for image_src in image_url: image_data = requests.get(url=image_src, headers=header).content # 提取图片内容数据 image_name = '{}'.format(n+1) + '.jpg' # 图片名 image_path = path + '/' + image_name # 图片保存路径 with open(image_path, 'wb') as f: # 保存数据 f.write(image_data) print(image_name, '下载成功啦！！！') f.close() n += 1 pn += 29
运行结果如下：
友情提示：
①：一页是30张
②：输入的内容可以很多变：比如桥、月亮、太阳、胡歌、赵丽颖等等。
四、blogger’s speech
希望大家可以，点赞、关注、收藏，三连支持一下！
大量免费学习推荐，敬请访问python教程(视频)
以上就是python爬虫：随心所欲地爬取百度图片的详细内容。