抓取数据不管用什么编程语言几乎都是可以实现了，今天我们需要采集安居客的小区数据，下面我们来看一个python抓取安居客小区数据的程序代码了，希望下文能够对大家有帮助。
某功能需要一套城市所有小区的位置信息数据，一开始是使用的百度地图api来进行关键词搜索，勉强能用，但数据量非常少，还是有大量的社区/小区搜不到。
周末在家上网时发现安居客上直接就有每个城市的小区大全，欣喜若狂，于是就立即写了个爬虫试试。
以下贴代码，python2.7，lxml+request库。
#coding=utf-8#author : zx#date : 2015/07/27import requestsimport mysqldbimport timeimport stringimport randomfrom lxml import etree#ua头信息 get时可以随机使用headers = [ { user-agent:mozilla/5.0 (linux; u; android 4.1; en-us; gt-n7100 build/jro03c) applewebkit/534.30 (khtml, like gecko) version/4.0 mobile safari/534.30}, { user-agent:mozilla/5.0 (compatible; msie 10.0; windows phone 8.0; trident/6.0; iemobile/10.0; arm; touch; nokia; lumia 520)}, { user-agent:mozilla/5.0 (bb10; touch) applewebkit/537.10+ (khtml, like gecko) version/10.0.9.2372 mobile safari/537.10+}, { user-agent:mozilla/5.0 (linux; android 4.4.2; gt-i9505 build/jdq39) applewebkit/537.36 (khtml, like gecko) version/1.5 chrome/28.0.1500.94 mobile safari/537.36}]#城市入口页面#我只抓的青岛本地#其它城市或全国城市可通过这个页面抓取城市列表http://m.anjuke.com/citylisturl = 'http://m.anjuke.com/qd/xiaoqu/'req = requests.get(url)cookie = req.cookies.get_dict()#链接数据库conn = mysqldb.connect('localhost', '*****', '******', '***', charset='utf8')cursor = conn.cursor()sql = insert into xiaoqu (name, lat, lng, address, district) values (%s, %s, %s, %s, %s)sql_v = [] page = etree.html(req.text)districthtml = page.xpath(u//div[@class='listcont cont_hei'])[0]#采集目标城市的各行政区域url#当然如果不想区分行政区可以直接抓“全部” 即上面url中的所有小区及分页districturl = {}i = 0for a in districthtml: if i==0: i = 1 continue districturl[a.text] = a.get('href')#开始采集total_all = 0for k,u in districturl.items(): p = 1 #分页 while true: header_i = random.randint(0, len(headers)-1) url_p = u.rstrip('/') + '-p' + str(p) r = requests.get(url_p, cookies=cookie, headers=headers[header_i]) page = etree.html(r.text) #这里转换大小写要按情况... communitysurldiv = page.xpath(u//div[@class='items'])[0] total = len(communitysurldiv) i = 0 for a in communitysurldiv: i+=1 r = requests.get(a.get('href'), cookies=cookie, headers=headers[header_i]) #抓取时发现有少量404页会直接导致程序报错退出- -! #唉 说明代码写的还不够健壮啊 #加了if判断和try， 错误时可以跳过或做一些简单处理和调试... if r.status_code == 404: continue page = etree.html(r.text) try: name = page.xpath(u//h1[@class='f1'])[0].text except: print a.get('href') print r.text raw_input() #有少量小区未设置经纬度信息 #只能得到它的地址了 try: latlng = page.xpath(u//a[@class='comm_map'])[0] lat = latlng.get('lat') lng = latlng.get('lng') address = latlng.get('address') except: lat = '' lng = '' address = page.xpath(u//span[@class='rightarea']/em)[0].text sql_v.append((name, lat, lng, address, k)) print \r\r\r, print u正在下载 %s 的数据,第 %d 页,共 %d 条，当前:.encode('gbk') %(k.encode('gbk'),p, total) + string.rjust(str(i),3).encode('gbk'), time.sleep(0.5) #每次抓取停顿 #执行插入数据库 cursor.executemany(sql, sql_v) sql_v = [] time.sleep(5) #每页完成后停顿 total_all += total print '' print u成功入库 %d 条数据，总数 %d.encode('gbk') % (total, total_all) if total < 500: break else: p += 1#及时关闭数据库 做个好孩子 任务完成~cursor.close()conn.close()print u'所有数据采集完成! 共 %d 条数据'.encode('gbk') % (total_all)raw_input()
注释我觉得已经写的很详细了，在cmd中显示，字符串当然要转一下码。
以下是运行状态和得到的数据截图。