您好,欢迎访问一九零五行业门户网

问:数据采集有关问题-内容由AJAX动态加载

问:数据采集问题-内容由ajax动态加载
最近一直在看php数据采集的知识,却在采集一些网站内容时遇到了一个大困难,例如在当当网的周排行榜:bang.dangdang.com/book/bestseller/ 页面,这些列表数据也是ajax获取的,不能直接获取源代码进行分析,我追踪它内容的获取是由以下的的ajax代码加载的:
//动态调用右侧内容
$.ajax({
url: contentlist.php?catpath=+ strcatpath + &type= + strtype + &year= + stryear + &month= + strmonth + &range= + strrange,
cache: false,
type: post,
data: cattitlename=+cattitlename+&cattitleother=+cattitleother,
success: function(html){
$(#divcontentdatelist).css(display,none);
$(#divcontentdatelist).html(html);
$(#divcontentdatelist).fadein(slow);
}
});
这里可以看到,这些列表内容来自contentlist.php,传回的内容在html变量里面,请问下一步该怎么办,我在本地也写一个请求contentlist.php的ajax文件吗,还是获取到html的值再进行数据采集
就是说,对这种ajax动态加载的页面,数据采集方法:
1、自己写一个js,请求它的服务器脚本,获取返回内容
2、获取它已经返回的内容
在实际操作中,是哪一种在应用呢,怎样获取呢,请求大哥哥大姐姐教教小弟,不胜感激
------解决方案--------------------
你要自己写contentlist.php取采集内容
可以用curl加正则表达式实现
------解决方案--------------------
源程序应该是用ajax获取用户信息,同时传输到contentlist.php做下一步处理,任何信息都要进行一些处理的吧。处理结果又返回来给页面,页面才做出响应。
其它类似信息

推荐信息