Python多进程分块读取超大文件的方法

# -*- coding: GBK -*-
import urlparse
import datetime
import os
from multiprocessing import Process,Queue,Array,RLock
"""
多进程分块读取文件
"""
WORKERS = 4
BLOCKSIZE = 100000000
FILE_SIZE = 0
def getFilesize(file):
 """
 获取要读取文件的大小
 """
 global FILE_SIZE
 fstream = open(file,'r')
 fstream.seek(0,os.SEEK_END)
 FILE_SIZE = fstream.tell()
 fstream.close()
def process_found(pid,array,file,rlock):
 global FILE_SIZE
 global JOB
 global PREFIX
 """
 进程处理
 Args:
 pid:进程编号
 array:进程间共享队列，用于标记各进程所读的文件块结束位置
 file:所读文件名称
 各个进程先从array中获取当前最大的值为起始位置startpossition
 结束的位置endpossition (startpossition+BLOCKSIZE) if (startpossition+BLOCKSIZE)