最新文章专题视频专题问答1问答10问答100问答1000问答2000关键字专题1关键字专题50关键字专题500关键字专题1500TAG最新视频文章推荐1 推荐3 推荐5 推荐7 推荐9 推荐11 推荐13 推荐15 推荐17 推荐19 推荐21 推荐23 推荐25 推荐27 推荐29 推荐31 推荐33 推荐35 推荐37视频文章20视频文章30视频文章40视频文章50视频文章60 视频文章70视频文章80视频文章90视频文章100视频文章120视频文章140 视频2关键字专题关键字专题tag2tag3文章专题文章专题2文章索引1文章索引2文章索引3文章索引4文章索引5123456789101112131415文章专题3
当前位置: 首页 - 科技 - 知识百科 - 正文

谈谈关于PHP内存溢出的思考

来源:动视网 责编:小采 时间:2020-11-03 18:15:14
文档

谈谈关于PHP内存溢出的思考

谈谈关于PHP内存溢出的思考:最近做大批量数据导出和数据导入的时候,经常会遇到PHP内存溢出的问题,在解决了问题之后,总结了一些经验,整理成文章记录下。优化点优化SQL语句,避免慢查询,合理的建立索引,查询指定的字段,sql优化这块在此就不展开了。查询的结果集为大对象时转数组处
推荐度:
导读谈谈关于PHP内存溢出的思考:最近做大批量数据导出和数据导入的时候,经常会遇到PHP内存溢出的问题,在解决了问题之后,总结了一些经验,整理成文章记录下。优化点优化SQL语句,避免慢查询,合理的建立索引,查询指定的字段,sql优化这块在此就不展开了。查询的结果集为大对象时转数组处


最近做大批量数据导出和数据导入的时候,经常会遇到PHP内存溢出的问题,在解决了问题之后,总结了一些经验,整理成文章记录下。

优化点

  1. 优化SQL语句,避免慢查询,合理的建立索引,查询指定的字段,sql优化这块在此就不展开了。

  2. 查询的结果集为大对象时转数组处理,框架中一般有方法可以转,如Laravel中有toArray(),Yii2中有asArray()。

  3. 对于大数组进行数据切割处理,PHP函数有array_chunk()、array_slice()。

  4. 对于大型的字符串和对象,使用引用传递&。

  5. 用过的变量及时unset。

  6. 导出的文件格式由excel改为csv

  7. ini_set(‘memory_limit’,’’),设置程序可以使用的内存(不建议这样做)。

思考

内存管理

PHP的内存什么怎么管理的呢? 在学C语言时,开发者是需要手动管理内存。在PHP中,Zend引擎提供为了处理请求相关数据提供了一种特殊的内存管理器。请求相关数据是只需要服务单个请求,最迟会在请求结束时释放数据。

上图是来自于官网的描述截图

防止内存泄漏并尽可能快地释放所有内存是内存管理的重要组成部分。因为安全原因,Zend引擎会释放所有上面提到的API锁分配的内存。

垃圾回收机制

简单说下:

PHP5.3之前,采用引用计数的方式管理。PHP中的变量存在zval的变量容器中,变量被引用的时,引用计数+1,变量引用计数为0时,PHP将在内存中销毁这个变量。但是在引用计数循环引用时,引用计数就不会消减为0,导致内存泄漏。

PHP5.3之后做了优化,并不是每次引用计数减少都进入回收周期,只有根缓冲区满额后才开始进行垃圾回收,这样可以解决循环引用的问题,也可以将总内存泄漏保持在一个阈值之下。

代码

由于使用phpexcel时经常会遇到内存溢出,下面分享一段生成csv文件的代码:

<?php

namespace apiservice;

class ExportService
{

 public static $outPutFile = '';

 /**
 * 导出文件
 * @param string $fileName
 * @param $data
 * @param array $formFields
 * @return mixed
 */
 public static function exportData($fileName = '', $data, $formFields = [])
 {
 $fileArr = [];
 $tmpPath = Yii::$app->params['excelSavePath'];

 foreach (array_chunk($data, 10000) as $key => $value) {
 self::$outPutFile = '';
 $subject = !empty($fileName) ? $fileName : 'data_';
 $subject .= date('YmdHis');
 if (empty($value) || empty($formFields)) {
 continue;
 }

 self::$outPutFile = $tmpPath . $subject . $key . '.csv';
 if (!file_exists(self::$outPutFile)) {
 touch(self::$outPutFile);
 }
 $index = array_keys($formFields);
 $header = array_values($formFields);
 self::outPut($header);

 foreach ($value as $k => $v) {
 $tmpData = [];
 foreach ($index as $item) {
 $tmpData[] = isset($v[$item]) ? $v[$item] : '';
 }
 self::outPut($tmpData);
 }
 $fileArr[] = self::$outPutFile;
 }
 
 $zipFile = $tmpPath . $fileName . date('YmdHi') . '.zip';
 $zipRes = self::zipFile($fileArr, $zipFile);
 return $zipRes;
 }

 /**
 * 向文件写入数据
 * @param array $data
 */
 public static function outPut($data = [])
 {
 if (is_array($data) && !empty($data)) {
 $data = implode(',', $data);
 file_put_contents(self::$outPutFile, iconv("UTF-8", "GB2312//IGNORE", $data) . PHP_EOL, FILE_APPEND);
 }
 }

 /**
 * 压缩文件
 * @param $sourceFile
 * @param $distFile
 * @return mixed
 */
 public static function zipFile($sourceFile, $distFile)
 {
 $zip = new ipArchive();
 if ($zip->open($distFile, ipArchive::CREATE) !== true) {
 return $sourceFile;
 }

 $zip->open($distFile, ipArchive::CREATE);
 foreach ($sourceFile as $file) {
 $fileContent = file_get_contents($file);
 $file = iconv('utf-8', 'GBK', basename($file));
 $zip->addFromString($file, $fileContent);
 }
 $zip->close();
 return $distFile;
 }
 
 /**
 * 下载文件
 * @param $filePath
 * @param $fileName
 */
 public static function download($filePath, $fileName)
 {
 if (!file_exists($filePath . $fileName)) {
 header('HTTP/1.1 404 NOT FOUND');
 } else {
 //以只读和二进制模式打开文件
 $file = fopen($filePath . $fileName, "rb");

 //告诉浏览器这是一个文件流格式的文件
 Header("Content-type: application/octet-stream");
 //请求范围的度量单位
 Header("Accept-Ranges: bytes");
 //Content-Length是指定包含于请求或响应中数据的字节长度
 Header("Accept-Length: " . filesize($filePath . $fileName));
 //用来告诉浏览器,文件是可以当做附件被下载,下载后的文件名称为$file_name该变量的值
 Header("Content-Disposition: attachment; filename=" . $fileName);

 //读取文件内容并直接输出到浏览器
 echo fread($file, filesize($filePath . $fileName));
 fclose($file);
 exit();
 }
 }
}

调用出代码

$fileName = "库存导入模板";
$stockRes = []; // 导出的数据
$formFields = [
 'store_id' => '门店ID',
 'storeName' => '门店名称',
 'sku' => 'SKU编码',
 'name' => 'SKU名称',
 'stock' => '库存',
 'reason' => '原因'
];
$fileRes = ExportService::exportData($fileName, $stockRes, $formFields);
$tmpPath = Yii::$app->params['excelSavePath']; // 文件路径
$fileName = str_replace($tmpPath, '', $fileRes);

// 下载文件
ExportService::download($tmpPath, $fileName);

推荐学习:PHP视频教程

文档

谈谈关于PHP内存溢出的思考

谈谈关于PHP内存溢出的思考:最近做大批量数据导出和数据导入的时候,经常会遇到PHP内存溢出的问题,在解决了问题之后,总结了一些经验,整理成文章记录下。优化点优化SQL语句,避免慢查询,合理的建立索引,查询指定的字段,sql优化这块在此就不展开了。查询的结果集为大对象时转数组处
推荐度:
标签: php 内存溢出 php的
  • 热门焦点

最新推荐

猜你喜欢

热门推荐

专题
Top