我这里写了个简单的curl采集,但是执行后发现单线程执行的方式比多线程执行要快很多.
是我的写法又问题吗?
$images = [ http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151923_73502.jpg, http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151826_52170.jpg, http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415152035_59698.jpg, http://pic.91taojin.com.cn/data/attachment/image/20140507/20140507143708_26688.jpg, http://pic.91taojin.com.cn/data/attachment/image/20140417/20140417095153_61993.jpg, http://pic.91taojin.com.cn/data/attachment/image/20140426/20140426094716_96396.jpg, http://pic.91taojin.com.cn/data/attachment/image/20130730/20130730160625_21437.jpg, http://pic.91taojin.com.cn/data/attachment/image/20130731/20130731170502_90104.jpg, http://pic.91taojin.com.cn/data/attachment/image/20130731/20130731165147_80414.jpg, http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151923_73502.jpg,];

这个是单线程的函数:
function getimg($url = , $filename = ){ $ch = curl_init (); $opt [curlopt_url] = $url; $opt [curlopt_header] = true; $opt [curlopt_connecttimeout] = 10; $opt [curlopt_timeout] = 60; $opt [curlopt_autoreferer] = true; $opt [curlopt_useragent] = 'mozilla/5.0 (windows nt 6.1) applewebkit/536.11 (khtml, like gecko) chrome/20.0.1132.47 safari/536.11'; $opt [curlopt_returntransfer] = true; // $opt [curlopt_followlocation] = true; //跟随重定向 // $opt [curlopt_maxredirs] = 10; curl_setopt_array ( $ch, $opt ); $r = curl_exec ( $ch ); if (false === $r) { $errno = curl_errno ( $ch ); $err = curl_error ( $ch ); curl_close ( $ch ); return false; } // 鉴定一下header:200 才写入文件 $header = explode(\r\n\r\n, $r); if (strpos($header[0], 'http/1.1 200') === 0) { file_put_contents($filename, $header[1]); } curl_close ( $ch ); return true;}

又尝试用curl_multi系列函数,但直接看的手册,没完全弄明白:
// 多线程采集数据function getimgmulti($url=[] , $filename=[]){ // 创建批处理curl句柄 $mh = curl_multi_init(); // 这里可以加n=10个线程 foreach ($url as $k => $v ) { $ch[$k] = curl_init(); $opt [curlopt_url] = $v; $opt [curlopt_header] = true; $opt [curlopt_connecttimeout] = 10; $opt [curlopt_timeout] = 60; $opt [curlopt_autoreferer] = true; $opt [curlopt_useragent] = 'mozilla/5.0 (windows nt 6.1) applewebkit/536.11 (khtml, like gecko) chrome/20.0.1132.47 safari/536.11'; $opt [curlopt_returntransfer] = true; // $opt [curlopt_followlocation] = true; //跟随重定向 // $opt [curlopt_maxredirs] = 10; curl_setopt_array ( $ch[$k], $opt ); // 增加1个句柄 curl_multi_add_handle($mh,$ch[$k]); } $running=null; // 执行批处理句柄 do { curl_multi_exec($mh,$running); } while($running > 0); for ($i=0; $i

执行结果,循环执行单线程大约1.7秒完成,后面这个3.5秒完成.
可能是我对这个函数的用法没弄透,请哪位来解释下原因?
----后续补充----
我在windows上面测试的,难道说因为win的php多线程有别的问题?
另外还参考了别人写好的php类
http://blog.eiodesign.com/archives/86
用这个类库又做了一遍采集,结果还是一样,更慢了
// 测试库采集require(libs/class_curl_multi.php);$mp = new multihttprequest();//远程图片本地化$mp->set_urls($images);$images_result = $mp->start();foreach ((array)$images_result as $image_key => $image_value) { if (!empty($image_key)) { _flush(store image:.$image_key.
); file_put_contents('pics/'.$image_key.'.jpg',$image_value); }}

用时4.05秒
是因为我对这个php的多线程理解有问题,还是其他原因造成这种差距呢? 貌似多线程并没有提高采集效率.反而影响了.
回复内容： 我这里写了个简单的curl采集,但是执行后发现单线程执行的方式比多线程执行要快很多.
是我的写法又问题吗?
$images = [ http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151923_73502.jpg, http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151826_52170.jpg, http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415152035_59698.jpg, http://pic.91taojin.com.cn/data/attachment/image/20140507/20140507143708_26688.jpg, http://pic.91taojin.com.cn/data/attachment/image/20140417/20140417095153_61993.jpg, http://pic.91taojin.com.cn/data/attachment/image/20140426/20140426094716_96396.jpg, http://pic.91taojin.com.cn/data/attachment/image/20130730/20130730160625_21437.jpg, http://pic.91taojin.com.cn/data/attachment/image/20130731/20130731170502_90104.jpg, http://pic.91taojin.com.cn/data/attachment/image/20130731/20130731165147_80414.jpg, http://pic.91taojin.com.cn/data/attachment/image/20140415/20140415151923_73502.jpg,];

这个是单线程的函数:
function getimg($url = , $filename = ){ $ch = curl_init (); $opt [curlopt_url] = $url; $opt [curlopt_header] = true; $opt [curlopt_connecttimeout] = 10; $opt [curlopt_timeout] = 60; $opt [curlopt_autoreferer] = true; $opt [curlopt_useragent] = 'mozilla/5.0 (windows nt 6.1) applewebkit/536.11 (khtml, like gecko) chrome/20.0.1132.47 safari/536.11'; $opt [curlopt_returntransfer] = true; // $opt [curlopt_followlocation] = true; //跟随重定向 // $opt [curlopt_maxredirs] = 10; curl_setopt_array ( $ch, $opt ); $r = curl_exec ( $ch ); if (false === $r) { $errno = curl_errno ( $ch ); $err = curl_error ( $ch ); curl_close ( $ch ); return false; } // 鉴定一下header:200 才写入文件 $header = explode(\r\n\r\n, $r); if (strpos($header[0], 'http/1.1 200') === 0) { file_put_contents($filename, $header[1]); } curl_close ( $ch ); return true;}

又尝试用curl_multi系列函数,但直接看的手册,没完全弄明白:
// 多线程采集数据function getimgmulti($url=[] , $filename=[]){ // 创建批处理curl句柄 $mh = curl_multi_init(); // 这里可以加n=10个线程 foreach ($url as $k => $v ) { $ch[$k] = curl_init(); $opt [curlopt_url] = $v; $opt [curlopt_header] = true; $opt [curlopt_connecttimeout] = 10; $opt [curlopt_timeout] = 60; $opt [curlopt_autoreferer] = true; $opt [curlopt_useragent] = 'mozilla/5.0 (windows nt 6.1) applewebkit/536.11 (khtml, like gecko) chrome/20.0.1132.47 safari/536.11'; $opt [curlopt_returntransfer] = true; // $opt [curlopt_followlocation] = true; //跟随重定向 // $opt [curlopt_maxredirs] = 10; curl_setopt_array ( $ch[$k], $opt ); // 增加1个句柄 curl_multi_add_handle($mh,$ch[$k]); } $running=null; // 执行批处理句柄 do { curl_multi_exec($mh,$running); } while($running > 0); for ($i=0; $i

执行结果,循环执行单线程大约1.7秒完成,后面这个3.5秒完成.
可能是我对这个函数的用法没弄透,请哪位来解释下原因?
----后续补充----
我在windows上面测试的,难道说因为win的php多线程有别的问题?
另外还参考了别人写好的php类
http://blog.eiodesign.com/archives/86
用这个类库又做了一遍采集,结果还是一样,更慢了
// 测试库采集require(libs/class_curl_multi.php);$mp = new multihttprequest();//远程图片本地化$mp->set_urls($images);$images_result = $mp->start();foreach ((array)$images_result as $image_key => $image_value) { if (!empty($image_key)) { _flush(store image:.$image_key.
); file_put_contents('pics/'.$image_key.'.jpg',$image_value); }}

用时4.05秒
是因为我对这个php的多线程理解有问题,还是其他原因造成这种差距呢? 貌似多线程并没有提高采集效率.反而影响了.