您好,欢迎访问一九零五行业门户网

python实现apahce网站日志分析示例

维护脚本一例,写得有点乱,只是作为一个实例,演示如何快速利用工具快速达到目的:
应用到:shell与python数据交互、数据抓取,编码转换
代码如下:
#coding:utf-8
#!/usr/bin/python
'''
程序说明:apache access.log日志分析
 分析访问网站ip 来源情况
 日期:2014-01-06 17:01
 author:gyh9711
程序说明:应用到:shell与python数据交互、数据抓取,编码转换
'''
import os
import json
import httplib
import codecs
logfile='/var/log/apache2/access.log'
#日志
logmess='/tmp/acc.log'
if os.path.isfile(logmess):
 os.system('cp /dev/null %s'% logmess)
file=codecs.open(logmess,'w+',encoding='utf-8')
def cmd(cmd):
  return os.popen(cmd).readlines()
'''
def getip(ip):
 return json.loads(os.popen(/usr/bin/curl http://ip.taobao.com/service/getipinfo.php?ip=%s % ip).readline())['data']
'''
conn = httplib.httpconnection('ip.taobao.com')
def getipcountry(ip):
 conn.request('get','/service/getipinfo.php?ip=%s' % ip)
 r1=conn.getresponse()
 if r1.status == 200:
  return json.loads(r1.read())['data']
 else:
  return error
#将access.log文件进行分析,并转为python数组
file.write(u字段说明:ip   访问次数据  ip国家 城市的 isp号  省份  所在地区\n)
ipdb=[]
for i in cmd('''/usr/bin/awk '{print $1}' %s |sort |uniq -c''' % logfile):
 ip = i.strip().split(' ')
 ipdb.append(ip)
#通过taobao 提供接口分析ip地址来源
for i in ipdb:
 _tmpd=getipcountry(i[1])
 #格式说明:ip   访问次数据  ip国家 城市的 isp号  省份  所在地区
 out=%s%s%s%s%s%s%s%(i[1].ljust(20),i[0].ljust(10),_tmpd['country'].ljust(20),_tmpd['city'].ljust(16),_tmpd['isp_id'].ljust(16),_tmpd['region'].ljust(16),_tmpd['area'].ljust(16))
 print out
 file.write(%s\n%out)
conn.close()
file.close()
'''
'''
其它类似信息

推荐信息