七牛远程抓取图片
公司网站之前的用户头像是存储在自己的服务器，后来管理不便，新增用户头像上传到七牛，为了方便管理，数据统一，领导说把本地服务器的头像全部迁移到七牛。
1.梳理下思路
先判断用户的头像是否在七牛，若不存在，本地如果有则抓取到七牛，然后进行批量抓取
2.七牛判断图片是否存在
1 /** 2 * 查看七牛url是否存在 3 * @param string $url 4 */ 5 function url_exists($url) { 6 require_once(common_path.qiniu/rs.php); 7 require_once(common_path.qiniu/http.php); 8 $parts=parse_url($url); 9 $bucket ；//桶10 $key=substr($parts['path'], 1);//七牛文件名11 //密钥12 $accesskey ; 13 $secretkey ;14 qiniu_setkeys($accesskey, $secretkey);15 $client = new qiniu_machttpclient(null);16 list($ret, $err) = qiniu_rs_stat($client, $bucket, $key);//查看单个文件信息17 if ($err !== null) {18 return false;19 } else {20 return true;21 }22 }
3.移动单个文件到七牛
1 /** 2 * 移动单个头像到七牛 3 * @param string $remotepath 远程文件在服务器上的物理地址 4 * @param string $qiniupath 七牛文件地址 5 */ 6 function onefetch($remotepath,$qiniupath){ 7 if(!$this->url_exists($qiniupath) && file_exists($remotepath)){ 8 require_once(common_path.qiniu/rs.php); 9 require_once(common_path.qiniu/http.php);10 require_once(common_path.qiniu/conf.php);11 12 $client = new qiniu_machttpclient(null);13 /*$accessurl 远程文件访问地址14 *$bucket桶15 *$key 存储在七牛的文件名16 */17 $ret = qiniu_rs_fetch($client,$accessurl, $bucket, $key);18 19 if($ret != null)20 {21 $errlog = 'fail.log';//写错误日志22 file_put_contents($errlog, {$key}\n, file_append);23 }24 else25 {26 var_dump($ret);27 }28 }else{29 var_dump('已有头像');30 }31 32 }
4.批量抓取
function t(){ header(content-type: text/html; charset=utf-8); set_time_limit(0); $start = intval($_get['num']);//开始位置 $str = ''; /*从数据库查询记录*/ $link = mysql_connect(localhost, root, root) or die(error); $db_selected = mysql_select_db(test, $link); mysql_query (set names utf8); $limit = 10;//每次查询数 $sql = select * from test order by id desc limit {$start},{$limit}; $result = mysql_query($sql) or die(mysql_error()); if(mysql_num_rows($result)) { while($row=mysql_fetch_assoc($result)){ onefetch($row['remotepath'], $row['qiniupath']); } $start += 10; $url = /t?num={$start}; $str = '已经更新'.$start.'条
'; $str .= '';//更新$limit条，跳转防止脚本无响应 } else { echo '结束'; } echo $str; ob_flush(); flush(); sleep(2); unset($sql,$result,$row); }