mongdb的mapreduce相当于mysql中的group by,所以在mongodb上使用map/reduce进行并行统计很容易。 使用mapreduce要实现两个函数map函数和reduce函数,map函数调用emit(key,value),遍历collection中的所有记录,将key和value传递给reduce函数进行处理。map函
mongdb的mapreduce相当于mysql中的“group by”,所以在mongodb上使用map/reduce进行并行“统计”很容易。
使用mapreduce要实现两个函数map函数和reduce函数,map函数调用emit(key,value),遍历collection中的所有记录,将key和value传递给reduce函数进行处理。map函数和reduce函数可以使用js来实现,可以通过db.runcommand或mapreduce命令来执行一个mapreduce操作。
示例shell
db.runcommand({ mapreduce : ,map : ,reduce : [, query : ][, sort : ][, limit : ][, out : ][, keeptemp: ][, finalize : ][, scope : ][, verbose : true]});
参数说明:
mapreduce: 要操作的目标集合。
map: 映射函数 (生成键值对序列,作为 reduce 函数参数)。
reduce: 统计函数。
query: 目标记录过滤。
sort: 目标记录排序。
limit: 限制目标记录数量。
out: 统计结果存放集合 (不指定则使用临时集合,在客户端断开后自动删除)。
keeptemp: 是否保留临时集合。
finalize: 最终处理函数 (对 reduce 返回结果进行最终整理后存入结果集合)。
scope: 向 map、reduce、finalize 导入外部变量。
verbose: 显示详细的时间统计信息。 下面我们准备数据以备后面示例所需
> db.students.insert({classid:1, age:14, name:'tom'})> db.students.insert({classid:1, age:12, name:'jacky'})> db.students.insert({classid:2, age:16, name:'lily'})> db.students.insert({classid:2, age:9, name:'tony'})> db.students.insert({classid:2, age:19, name:'harry'})> db.students.insert({classid:2, age:13, name:'vincent'})> db.students.insert({classid:1, age:14, name:'bill'})> db.students.insert({classid:2, age:17, name:'bruce'})>
现在我们演示如何统计1班和2班的学生数量map 函数必须调用 emit(key, value) 返回键值对,使用 this 访问当前待处理的 document。
这里this一定不能忘了!!!
> m = function() { emit(this.classid, 1) }function () {emit(this.classid, 1);}>
value 可以使用 json object 传递 (支持多个属性值)。例如:
emit(this.classid, {count:1})
reduce 函数接收的参数类似 group 效果,将 map 返回的键值序列组合成 { key, [value1,value2, value3, value...] } 传递给 reduce。
> r = function(key, values) {... var x = 0;... values.foreach(function(v) { x += v });... return x;... }function (key, values) {var x = 0;values.foreach(function (v) {x += v;});return x;}>
reduce 函数对这些 values 进行 统计 操作,返回结果可以使用 json object。结果如下:
> res = db.runcommand({... mapreduce:students,... map:m,... reduce:r,... out:students_res... });{result : students_res,timemillis : 1587,counts : {input : 8,emit : 8,output : 2},ok : 1}> db.students_res.find(){ _id : 1, value : 3 }{ _id : 2, value : 5 }>
mapreduce() 将结果存储在 students_res 表中。利用 finalize() 我们可以对 reduce() 的结果做进一步处理。
> f = function(key, value) { return {classid:key, count:value}; }function (key, value) {return {classid:key, count:value};}>
我们再重新计算一次,看看返回的结果:> res = db.runcommand({... mapreduce:students,... map:m,... reduce:r,... out:students_res,... finalize:f... });{result : students_res,timemillis : 804,counts : {input : 8,emit : 8,output : 2},ok : 1}> db.students_res.find(){ _id : 1, value : { classid : 1, count : 3 } }{ _id : 2, value : { classid : 2, count : 5 } }>
列名变与 “classid”和”count”了,这样的列表更容易理解。我们还可以添加更多的控制细节。
> res = db.runcommand({... mapreduce:students,... map:m,... reduce:r,... out:students_res,... finalize:f,... query:{age:{$lt:10}}... });{result : students_res,timemillis : 358,counts : {input : 1,emit : 1,output : 1},ok : 1}> db.students_res.find();{ _id : 2, value : { classid : 2, count : 1 } }>
可以看到先进行了过滤,只取age