大家知道，excel导出数据的功能，后台几乎是必须功能，一般都是点击后，生成文件然后自动下载，
如果是数据量小的话，一下子便可请求完成，从而下载到本地；
但是，如果数据量特别大的时候，页面就必须一直在等待，直到写入excel成功，
这样便影响了后台使用者无法操作其他页面，为此，对excel导出做了以下功能优化：
二、生成excel文件 生成excel文件的方法有很多，暂不一一记录，只是记录本次的方法；
这里用到了table的html格式，以及相应的excel的声明
（隐约记得其他的方法用office07打开的时候好像是乱码，后面尝试用csv格式文件，可还是乱码，所以用了table的形式）
文件的开头：
1 $struserdata = <<
show_download方法中调用 create_excel方法，而show_download 方法中，自己用了一下命令行执行程序的方式,
利用php命令行的方式，把参数传递给 create_excel方法
1 // $cmd = /usr/bin/php /home/xxx/xxx.php . $strjoin . >/dev/null & ;2 // $a=exec($cmd, $out, $returndata);3 4 5 $command = /usr/bin/php .statistic_export_script_dir.xxx.php . ' .$strjoin .'. . $uid . . $action . & ;6 $process = proc_open($command, array(),$pipes); 7 $var = proc_get_status($process); 8 proc_close($process);9 $pid = intval($var['pid'])+1;
而在create_excel方法中：
需填写以下代码：
1 set_time_limit(0); //取消脚本运行时间的超时上限2 3 ignore_user_abort(true); //后台运行,不受用户关闭浏览器的影响
调用相关的api得到数据：
1 $statistic = call_user_func(array('shellscript','get_result'),$url,$params);2 if(!is_object($statistic) || !isset($statistic->data->items)){3 usleep(400000);//停止400毫秒4 $statistic = call_user_func(array('shellscript','get_result'),$url,$params);5 }
四、显示文件生成进度 但是怎么显示相应的文件生成进度呢，怎么知道文件到底生成好了没有呢？
这里，我用到的方法是，在写入数据文件的时候data.xsl，每个数据文件都生成一个对应的文件进度文件，暂且称为flag_data.xsl;
思路：
查看文件的进度方法：
1 public function execscript_process(){ 2 $this->load->library('smarty'); 3 $file_arr_str = array(); 4 $file_arr_process = array(); 5 $file_arr_name = array(); 6 $file_arr = array(); 7 $refresh_flag = 'yes'; 8 $uid = $_request['uid']; 9 $url_dir = statistic_export_file_dir.$uid .'/';//@todo10 if(!is_dir($url_dir)){11 @mkdir($url_dir,0777);12 }13 $files = scandir($url_dir);14 15 if(!empty($files)){16 foreach ($files as $key => $value) {17 if($value!='.' && $value!='..'){18 if(substr($value, 0 , 5)==flag_){19 $file_size = filesize($url_dir . $value);20 if(!empty($file_size)){21 $fhandle = fopen($url_dir . $value, 'rb+');22 fseek($fhandle, -1, seek_end);23 $fstr = '';24 while(($c = fgetc($fhandle)) !== false) {25 if($c == \n && $fstr) break;26 $fstr = $c . $fstr;27 fseek($fhandle, -2, seek_cur);28 }29 fclose($fhandle);30 $fstr = trim($fstr);31 $fstr_arr_str = explode(',', $fstr);32 $file_arr_process[] = 100 * number_format($fstr_arr_str[0]/$fstr_arr_str[1],2).'%';33 $file_arr_name[] = substr($value,5);34 }35 }36 }37 }38 39 foreach ($file_arr_process as $key => $value) {40 if($value != '100%'){41 $refresh_flag = 'no';42 break;43 }44 }45 }46 47 $file_arr = array(48 'process' => $file_arr_process,49 'name' => $file_arr_name,50 'refresh_flag' => $refresh_flag51 );52 $file_arr_json = json_encode($file_arr);53 echo $file_arr_json;54 }view code 五、下载文件 文件的下载就好说了，既然已经都生成成功，下载的方法如下：
1 public function execscript_download(){ 2 $filename = $_request['filename']; 3 $uid = $_request['uid']; 4 $file_dir = statistic_export_file_dir.$uid.'/'.$filename; 5 if (!file_exists($file_dir)){ 6 header(content-type: text/html; charset=utf-8); 7 echo file not found!; 8 exit; 9 } else {10 ini_set(memory_limit,500m); 11 header('content-description: file transfer');12 header('content-type: application/octet-stream');13 header('content-disposition: attachment; filename='.basename($file_dir));14 header('content-transfer-encoding: binary');15 header('expires: ' . gmdate('d, d m y h:i:s') . ' gmt');16 header('cache-control: must-revalidate,post-check=0, pre-check=0');17 header('pragma: public');18 header('content-length: ' . filesize($file_dir));19 readfile($file_dir);20 }21 22 }
六、上线后出现的问题 本地本来已经测试完毕，可上线后，却出现了奇怪的问题；
现象描述：
当在后台点击生成文件，跳转到下载页的时候，因为下载页是显示文件进度的页面，
竟然出现有时候有刚刚点击的文件进度，有时候没有，就感觉没有生成相应的文件一样；
解决方法：
因为数据文件和进度文件都是生成在程序的某个文件夹file中，所以读取的时候都是读取的文件夹下的文件，从而判断显示进度；
后面才知道，由于后台程序有两台服务器，导致读取以及下载的时候找不到相应的文件夹，两个服务器相应的文件夹弄个共享目录就可以了
七、相应的后续优化 由于下载的文件多了，导致文件夹下的文件越来越多，而原来生成的文件是没有价值的，所以加了个定期删除文件的功能，只保留近七天的文件
当然可以用crontab，只不过我比较懒，是在点击生成文件的时候，判断了一下文件夹中的过期文件，从而删除
1 public function execscript_process_show(){ 2 $this->load->library('smarty'); 3 $uid = $_request['uid']; 4 $url_dir = statistic_export_file_dir.$uid .'/';//@todo 5 if(!is_dir($url_dir)){ 6 @mkdir($url_dir,0777); 7 } 8 $files = scandir($url_dir); 9 if(!empty($files)){10 foreach ($files as $key => $value) {11 if($value!='.' && $value!='..'){12 foreach ($files as $key => $value) {13 if($value!='.' && $value!='..'){14 if(substr($value, 0 , 5)!=flag_){15 $filenamedate = substr($value, 0,10);16 $today = date('y-m-d',time());17 $filenamedate = date('y-m-d',strtotime($filenamedate)+(statistic_file_expire_day-1)*24*3600);18 if($today>$filenamedate){//文件过期19 @unlink($url_dir . $value);20 @unlink($url_dir . 'flag_' . $value);21 }22 }23 }24 } 25 }26 }27 }28 29 $this->smarty->assign('uid',$uid);30 $this->smarty->display('interact/statistic/execscript.tpl');31 }
八、后记 大文件的导出大体就是这个样子，欢迎大家吐槽，共同交流；
当时在用命令行执行方法的时候，也参考了一下相应的资料，记录一下；
http://blog.csdn.net/yysdsyl/article/details/4636457http://www.codesky.net/article/201202/163385.htmlhttp://www.cnblogs.com/zdz8207/p/3765567.htmlhttp://blog.163.com/mojian20040228@126/blog/static/4112219320097300922992/http://php.net/manual/en/features.commandline.phphttp://blog.csdn.net/yangjun07167/article/details/5603425http://blog.csdn.net/yunsongice/article/details/5445448http://www.cppblog.com/amazon/archive/2011/12/01/161281.aspxhttp://blog.51yip.com/tag/proc_openhttp://www.justwinit.cn/post/1418/http://limboy.me/tech/2010/12/05/php-async.html
http://www.bkjia.com/phpjc/1048777.htmlwww.bkjia.comtruehttp://www.bkjia.com/phpjc/1048777.htmltecharticle我所经历的大文件数据导出（后台执行,自动生成），数据导出自动生成 一、前言 记录一下以前做的后台excel格式导出统计信息的功能，也...