最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 科技 - 知识百科 - 正文

python设置检查点简单实现代码

来源:动视网 责编:小采 时间:2020-11-27 14:30:32
文档

python设置检查点简单实现代码

python设置检查点简单实现代码:说检查点,其实就是对过去历史的记录,可以认为是log.不过这里进行了简化.举例来说,我现在又一段文本.文本里放有一堆堆的链接地址.我现在的任务是下载那些地址中的内容.另外因为网络的问题或者网站的问题,每次下载可能不会非常的成功.有可能出现断链或者soc
推荐度:
导读python设置检查点简单实现代码:说检查点,其实就是对过去历史的记录,可以认为是log.不过这里进行了简化.举例来说,我现在又一段文本.文本里放有一堆堆的链接地址.我现在的任务是下载那些地址中的内容.另外因为网络的问题或者网站的问题,每次下载可能不会非常的成功.有可能出现断链或者soc


说检查点,其实就是对过去历史的记录,可以认为是log.不过这里进行了简化.举例来说,我现在又一段文本.文本里放有一堆堆的链接地址.我现在的任务是下载那些地址中的内容.另外因为网络的问题或者网站的问题,每次下载可能不会非常的成功.有可能出现断链或者socket异常错误。不过不管产生什么样的错误,我都希望我的程序能够一直跑下去。或者能停掉后,继续从为下载的链接处跑。而不是从开始的地方跑。这个问题非常简单。因为这些链接是上下文无关的(上下文有关的情况要另外分析)。所以我只要记录程序运行停止前的最后一条,就有希望能够延续前面的工作。这里实现中使用的是记录原有的链接,大家也可以使用计数器的方法来记录。代码如下:

# 这个异常是原文本内容中未出现检查点内容出现造成的 
class CheckPointMissContentError: 
 pass 
# 将文件读取指针fd移至到检查点对应的内容处 
# check point 的规则为,读取文件一行或者多行,进行操作后,将此一行或多行送入 
# 检查文件check_point中。以后再次运行程序,即可从该检查点处继续运行。 
def GoCheckPoint(fd,check_point): 
 if not os.path.isfile(check_point): 
 f_check = open(check_point,'w') 
 f_check.close() 
 f_check = open(check_point,'r') 
 lines = f_check.readlines() 
 if len(lines) > 0: 
 check_content = lines[-1] #找到检查点最后一行 
 check_content = check_content.strip(' /n/r') 
 # go to check point 
 while True: 
 content = fd.readline() 
 if content == '': # eof 
 raise CheckPointMissContentError 
 if content.strip(' /n/r') == check_content: 
 break 
 
 f_check.close()#关闭检查点 

有了上面一段还是不够的,需要下面的代码补充:

# 伪代码 
def Download(downloadlist,sleep_time): 
 
 if os.path.isfile(downloadlist): 
 f = open(downloadlist) 
 # check_point file name,这里为自动生成一个检查点文件 
 check_point = file[0:file.rfind('.')]+'_check.txt' 
 Util.GoCheckPoint(f,check_point) #这就是上面代码中的GoCheckPoint函数 
 f_check = open(check_point,'a')# 以追加方式写入 
 
 try: 
 while True: 
 content = f.readline() 
 if content == '': # eof 
 break 
 content = content.strip(' /n/r') 
 if content != '': 
 # has download url 
 time.sleep(sleep_time) 
 DownloadOper(path,url) #这里是伪代码..可以认为是urllib.request.retrieve()函数或者是urllib.request.urlopen()啥的 
 # 作为响应的操作后再将内容写入检查点文件 
 f_check.write(content+'/n') 
 f_check.flush() # 必须的,否则会缓存,不会写入硬盘中 
 except : # 蹦个异常也不怕,以后再次按F5执行即可 
 raise Exception() 
 return Util.FAILURE # 这是我设置的常量,大家认为是0或者1就可以了 
 finally: 
 f.close() 
 f_check.close()# 关闭文件 
 print('Downloading is done........................') 
 return Util.SUCCESS 

执行完操作之后再写入到检查点文件中。以后程序挂掉,只要检查点文件还在,就可以延续前面的工作。不过这里的检查点相对于数据库中事务处理的检查点还是太简单了点。

文档

python设置检查点简单实现代码

python设置检查点简单实现代码:说检查点,其实就是对过去历史的记录,可以认为是log.不过这里进行了简化.举例来说,我现在又一段文本.文本里放有一堆堆的链接地址.我现在的任务是下载那些地址中的内容.另外因为网络的问题或者网站的问题,每次下载可能不会非常的成功.有可能出现断链或者soc
推荐度:
标签: 实现 代码 python
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top