您好,欢迎访问一九零五行业门户网

python压缩文件的效率高吗?

python压缩文件的效率高吗?这里使用shell脚本和python脚本同样压缩文件进行对比,通过时间和压缩比对比发现python的压缩比可以,但是效率低耗时较多。
shell使用系统tar
python使用tarfile模块,python不开多线程的情况两者做文件打包压缩对比。
python代码:
#-*- coding: utf-8 -*- #!/usr/bin/evn python """ usage: bak_rsync_python.py version """ import sys import time import os import shutil import subprocess import tarfile rundir=os.getcwd() src_dir='/data/rsync_center' bak_dir='/data/backup/game/test' today=time.strftime("%y_%m_%d", time.localtime()) def main(version): #set local var md5="/sbin/md5" bak_file="rsync_center_"+today+"_"+version+".tgz" #多个变量联合做变量 md5_file=rundir+"/md5/"+bak_file+".md5" cmd="%s %s > %s" % (md5,bak_file,md5_file) #print bak_file #print md5_file #tar src dir os.chdir(src_dir) tar=tarfile.open(bak_file,'w|gz') tar.add(src_dir) tar.close() #tgz file md5 ret=subprocess.call(cmd,shell=true) #subprocess.call返回值是退出状态 if ret !=0: print "md5 failed" sys.exit(1) #else: print ret #move tgz to dst dir shutil.move(bak_file,bak_dir) if __name__=='__main__': try: len(sys.argv)!=2 except: print "please give version" print __doc__ else: print "start at",time.ctime() version=sys.argv[1] main(version) print "end at",time.ctime()
shell脚本:
#!/bin/sh - # bak_rsync_shell.sh version shell_dir=`pwd` src_dir=/data/rsync_center bak_dir="/data/backup/game/test" log_file=${shell_dir}/rsync_center_bak.log version=$1 today=`/bin/date +%y_%m_%d` fourteenday=`/bin/date -v -8d +%y_%m_%d` bak_file="rsync_center_${today}_${version}.tgz" md5_file=${shell_dir}/md5/$bak_file.md5 if [ $# -ne 1 ] then echo "please give a version!" break else startdate=`date "+%y-%m-%d %h:%m:%s"` echo "rsync_center backup start at " $startdate cd $src_dir tar -zcf $bak_file ./ /sbin/md5 $bak_file > $md5_file mv $bak_file $bak_dir/ enddate=`date "+%y-%m-%d %h:%m:%s"` echo "rsync_center backup complete at" $enddate fi
运行对比:
#du -sh /data/rsync_center/112m /data/rsync_center/#sh bak_rsync_shell.sh testshellrsync_center backup start at 2012-03-15 14:53:37tar: ./rsync_center_2012_03_15_testshell.tgz: can't add archive to itselfrsync_center backup complete at 2012-03-15 14:53:46
使用了9秒
#python bak_rsync_python.py testpythonstart at thu mar 15 14:54:54 2012end at thu mar 15 14:55:20 2012
使用了27秒
压缩大小差不多
#ll -h /data/backup/game/test/ | awk '{print$5,$9}'49m rsync_center_2012_03_15_testpython.tgz49m rsync_center_2012_03_15_testshell.tgz
python使用代码53行(取出注释也有40行),shell使用代码26行
python的逻辑更复杂,shell更简单一点。
可见python在单线程的情况下,对于系统基本文件处理,比如复制移动,打包压缩不如shell简单高效。逻辑上也不利于sa快速理解。所以,python在基本的系统管理上,可能不如shell.
以上就是python压缩文件的效率高吗?的详细内容。
其它类似信息

推荐信息