最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 科技 - 知识百科 - 正文

Python实现网站文件的全备份和差异备份

来源:动视网 责编:小采 时间:2020-11-27 14:31:28
文档

Python实现网站文件的全备份和差异备份

Python实现网站文件的全备份和差异备份:之前有写利用md5方式来做差异备份,但是这种md5方式来写存在以下问题: •md5sum获取有些软连接的MD5值存在问题 •不支持对空目录进行备份,因为md5sum无法获取空目录的md5值 •权限的修改md5sum无法判断 解决方案: 利用文件
推荐度:
导读Python实现网站文件的全备份和差异备份:之前有写利用md5方式来做差异备份,但是这种md5方式来写存在以下问题: •md5sum获取有些软连接的MD5值存在问题 •不支持对空目录进行备份,因为md5sum无法获取空目录的md5值 •权限的修改md5sum无法判断 解决方案: 利用文件


之前有写利用md5方式来做差异备份,但是这种md5方式来写存在以下问题:

•md5sum获取有些软连接的MD5值存在问题
•不支持对空目录进行备份,因为md5sum无法获取空目录的md5值
•权限的修改md5sum无法判断

解决方案:

利用文件的mtime ctime

mtime(Modified time)是在写入文件时随文件内容的更改而更改的
ctime(Create time)是在写入文件、更改所有者、权限或链接设置时随Inode的内容更改而更改的
废话不多说直接上代码:

#!/usr/bin/env python
import time,os,sys,cPickle

fileInfo = {}

def logger(time,fileName,status,fileNum):
 f = open('backup.log','a')
 f.write("%s	%s	%s	%s
" % (time,fileName,status,fileNum))

def tar(sDir,dDir,fileNum):
 command = "tar zcf %s %s >/dev/null 2>&1" % (dDir + ".tar.gz",sDir)
 if os.system(command) == 0:
 logger(time.strftime('%F %X'),dDir + ".tar.gz",'success',fileNum)
 else:
 logger(time.strftime('%F %X'),dDir + ".tar.gz",'failed',fileNum)

def fullBak(path):
 fileNum = 0
 for root,dirs,files in os.walk(path):
 for name in files:
 file = os.path.join(root, name)
 mtime = os.path.getmtime(file)
 ctime = os.path.getctime(file)
 fileInfo[file] = (mtime,ctime)
 fileNum += 1
 f = open(P,'w')
 cPickle.dump(fileInfo,f)
 f.close()
 tar(S,D,fileNum)

def diffBak(path):
 for root,dirs,files in os.walk(path):
 for name in files:
 file = os.path.join(root,name)
 mtime = os.path.getmtime(file)
 ctime = os.path.getctime(file)
 fileInfo[file] = (mtime,ctime)

 if os.path.isfile(P) == 0:
 f = open(P,'w')
 f.close()

 if os.stat(P).st_size == 0:
 f = open(P,'w')
 cPickle.dump(fileInfo,f)
 fileNum = len(fileInfo.keys())
 f.close()
 print fileNum
 tar(S,D,fileNum)
 else:
 f = open(P)
 old_fileInfo = cPickle.load(f)
 f.close()
 difference = dict(set(fileInfo.items())^set(old_fileInfo.items()))
 fileNum = len(difference)
 print fileNum

 difference_file = ' '.join(difference.keys())
 print difference_file

 tar(difference_file,D,fileNum)
 f = open(P,'w')
 cPickle.dump(fileInfo,f)
 f.close()

def Usage():
 print '''
 Syntax: python file_bakcup.py pickle_file model source_dir filename_bk
 model: 1:Full backup 2:Differential backup

 example: python file_backup.py fileinfo.pk 2 /etc etc_$(date +%F)
 explain: Automatically add '.tar.gz' suffix
 '''
 sys.exit()

if len(sys.argv) != 5:
 Usage()

P = sys.argv[1]
M = int(sys.argv[2])
S = sys.argv[3]
D = sys.argv[4]

if M == 1:
 fullBak(S)
elif M == 2:
 diffBak(S)
else:
 print "33[;31mDoes not support this mode33[0m"
 Usage()

测试:

$ python file_backup.py data.pk 1 data data_$(date +%F) #全备份
$ > data/www.gxlcms.com #测试创建文件,修改文件权限
$ chmod 777 data/py/eshop_bk/data.db
$ python file_backup.py data.pk 2 data data_$(date +%F)_1 #备份改变的文件
2
data/py/eshop_bk/data.db data/www.gxlcms.com

看了博主的代码,很受启发,但是有一个问题,如果我完成完整备份之后,删除了其中某个文件,再做差异备份,可以检测出被删除的文件,但是执行tar就会出错,因为这个文件已经是不存在的了,所以在执行tar之前,最好用os.path.exists()判断一下差异文件路径是否存在,如果不存在则不执行tar, 反馈一条文件删除信息。

文档

Python实现网站文件的全备份和差异备份

Python实现网站文件的全备份和差异备份:之前有写利用md5方式来做差异备份,但是这种md5方式来写存在以下问题: •md5sum获取有些软连接的MD5值存在问题 •不支持对空目录进行备份,因为md5sum无法获取空目录的md5值 •权限的修改md5sum无法判断 解决方案: 利用文件
推荐度:
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top