想写一个爬取花瓣网图片的爬虫。遇到了ajax获取数据的问题
图片中的请求的url，response的文本类型是json
可当我单独访问这个url的时候却是html
求教，怎么获取json数据
回复内容： 想写一个爬取花瓣网图片的爬虫。遇到了ajax获取数据的问题
图片中的请求的url，response的文本类型是json
可当我单独访问这个url的时候却是html
求教，怎么获取json数据
这个是用header来控制的
你把对应的请求头加上就好了。附上我的代码
#coding=utf-8import requests as rqhburl = http://huaban.com/boards/28195582/?ipva9fpx&max=759391397&limit=20&wfl=1heads = {'host':huaban.com,'referer':{http://huaban.com/boards/28195582/,'user-agent':mozilla/5.0 (windows nt 6.1; wow64) applewebkit/537.36 (khtml, like gecko) chrome/51.0.2704.84 safari/537.36,'x-request':json,'x-requested-with':xmlhttprequest}print rq.get(hburl, headers=heads).content
rerferer是一个常见的用来防止网页被本站之外获取的header，做爬虫时一定要确保referer的设置