本篇文章主要介绍php基于curl实现多线程抓取，感兴趣的朋友参考下，希望对大家有所帮助。
php利用 curl可以完成各种传送文件操作，比如模拟浏览器发送get，post请求等等，然而因为php语言本身不支持多线程，所以开发爬虫程序效率并不高，因此经常需要借助curl multi functions 这个功能实现并发多线程的访问多个url地址以实现并发多线程抓取网页或者下载文件
代码如下：
<?php/*curl 多线程抓取*/ /** * curl 多线程 * * @param array $array 并行网址 * @param int $timeout 超时时间 * @return array */ function curl_http($array,$timeout){ $res = array(); $mh = curl_multi_init();//创建多个curl语柄 $startime = getmicrotime(); foreach($array as $k=>$url){ $conn[$k]=curl_init($url); curl_setopt($conn[$k], curlopt_timeout, $timeout);//设置超时时间 curl_setopt($conn[$k], curlopt_useragent, 'mozilla/5.0 (compatible; msie 5.01; windows nt 5.0)'); curl_setopt($conn[$k], curlopt_maxredirs, 7);//http定向级别 curl_setopt($conn[$k], curlopt_header, 0);//这里不要header，加块效率 curl_setopt($conn[$k], curlopt_followlocation, 1); // 302 redirect curl_setopt($conn[$k],curlopt_returntransfer,1); curl_multi_add_handle ($mh,$conn[$k]); } //防止死循环耗死cpu 这段是根据网上的写法 do { $mrc = curl_multi_exec($mh,$active);//当无数据，active=true } while ($mrc == curlm_call_multi_perform);//当正在接受数据时 while ($active and $mrc == curlm_ok) {//当无数据时或请求暂停时，active=true if (curl_multi_select($mh) != -1) { do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == curlm_call_multi_perform); } } foreach ($array as $k => $url) { curl_error($conn[$k]); $res[$k]=curl_multi_getcontent($conn[$k]);//获得返回信息 $header[$k]=curl_getinfo($conn[$k]);//返回头信息 curl_close($conn[$k]);//关闭语柄 curl_multi_remove_handle($mh , $conn[$k]); //释放资源 } curl_multi_close($mh); $endtime = getmicrotime(); $diff_time = $endtime - $startime; return array('diff_time'=>$diff_time, 'return'=>$res, 'header'=>$header ); } //计算当前时间 function getmicrotime() { list($usec, $sec) = explode(" ",microtime()); return ((float)$usec + (float)$sec); } //测试一下，curl 三个网址 $array = array( "http://www.weibo.com/", "http://www.renren.com/", "http://www.qq.com/" ); $data = curl_http($array,'10');//调用 var_dump($data);//输出//如果post的数据大于1024字节，curl并不会直接就发起post请求//发送请求时，header中包含一个空的expect。curl_setopt($ch, curlopt_httpheader, array("expect:"));?>
我们再来看几个例子
（1）下面这段代码是实现抓取多个url，然后将抓取的url的页面代码写入指定的文件
$urls = array('http://www.jb51.net/','http://www.google.com/','http://www.example.com/'); // 设置要抓取的页面url$save_to='/test.txt'; // 把抓取的代码写入该文件$st = fopen($save_to,"a");$mh = curl_multi_init();foreach ($urls as $i => $url) {$conn[$i] = curl_init($url);curl_setopt($conn[$i], curlopt_useragent, "mozilla/4.0 (compatible; msie 7.0; windows nt 6.0)");curl_setopt($conn[$i], curlopt_header ,0);curl_setopt($conn[$i], curlopt_connecttimeout,60);curl_setopt($conn[$i], curlopt_file,$st); // 将爬取的代码写入文件curl_multi_add_handle ($mh,$conn[$i]);} // 初始化do {curl_multi_exec($mh,$active);} while ($active); // 执行foreach ($urls as $i => $url) {curl_multi_remove_handle($mh,$conn[$i]);curl_close($conn[$i]);} // 结束清理curl_multi_close($mh);fclose($st);
（2）下面这段代码和上面差不多意思，只不过这个地方是将获得的代码先放入变量，然后再将获取到的内容写入指定的文件
$urls = array('http://www.jb51.net/','http://www.google.com/','http://www.example.com/');$save_to='/test.txt'; // 把抓取的代码写入该文件$st = fopen($save_to,"a");$mh = curl_multi_init();foreach ($urls as $i => $url) {$conn[$i] = curl_init($url);curl_setopt($conn[$i], curlopt_useragent, "mozilla/4.0 (compatible; msie 7.0; windows nt 6.0)");curl_setopt($conn[$i], curlopt_header ,0);curl_setopt($conn[$i], curlopt_connecttimeout,60);curl_setopt($conn[$i],curlopt_returntransfer,true); // 不将爬取代码写到浏览器，而是转化为字符串curl_multi_add_handle ($mh,$conn[$i]);}do {curl_multi_exec($mh,$active);} while ($active);foreach ($urls as $i => $url) {$data = curl_multi_getcontent($conn[$i]); // 获得爬取的代码字符串fwrite($st,$data); // 将字符串写入文件} // 获得数据变量，并写入文件foreach ($urls as $i => $url) {curl_multi_remove_handle($mh,$conn[$i]);curl_close($conn[$i]);}curl_multi_close($mh);fclose($st);
（3）下面这段代码实现的是利用 php 的 curl functions 实现并发多线程下载文件
$urls=array( 'http://www.jb51.net/5w.zip', 'http://www.jb51.net/5w.zip', 'http://www.jb51.net/5w.zip');$save_to='./home/';$mh=curl_multi_init();foreach($urls as $i=>$url){ $g=$save_to.basename($url); if(!is_file($g)){ $conn[$i]=curl_init($url); $fp[$i]=fopen($g,"w"); curl_setopt($conn[$i],curlopt_useragent,"mozilla/4.0(compatible; msie 7.0; windows nt 6.0)"); curl_setopt($conn[$i],curlopt_file,$fp[$i]); curl_setopt($conn[$i],curlopt_header ,0); curl_setopt($conn[$i],curlopt_connecttimeout,60); curl_multi_add_handle($mh,$conn[$i]); }}do{ $n=curl_multi_exec($mh,$active);}while($active);foreach($urls as $i=>$url){ curl_multi_remove_handle($mh,$conn[$i]); curl_close($conn[$i]); fclose($fp[$i]);}curl_multi_close($mh);$urls=array( 'http://www.jb51.net/5w.zip', 'http://www.jb51.net/5w.zip', 'http://www.jb51.net/5w.zip');$save_to='./home/';$mh=curl_multi_init();foreach($urls as $i=>$url){ $g=$save_to.basename($url); if(!is_file($g)){ $conn[$i]=curl_init($url); $fp[$i]=fopen($g,"w"); curl_setopt($conn[$i],curlopt_useragent,"mozilla/4.0(compatible; msie 7.0; windows nt 6.0)"); curl_setopt($conn[$i],curlopt_file,$fp[$i]); curl_setopt($conn[$i],curlopt_header ,0); curl_setopt($conn[$i],curlopt_connecttimeout,60); curl_multi_add_handle($mh,$conn[$i]); }}do{ $n=curl_multi_exec($mh,$active);}while($active);foreach($urls as $i=>$url){ curl_multi_remove_handle($mh,$conn[$i]); curl_close($conn[$i]); fclose($fp[$i]);}curl_multi_close($mh);
总结：以上就是本篇文的全部内容，希望能对大家的学习有所帮助。
相关推荐：
php 文件上传管理系统
php邮件发送案例
php 文件上传管理系统
以上就是php基于curl实现多线程抓取的详细内容。