注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

网事

备忘录

 
 
 

日志

 
 

MongoDB mapReduce 实例  

2012-09-06 12:07:20|  分类: 开源项目 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

下面的例子是在小数据下测试的,我尝试在单机的千万级别测试,等很久都没结果...

数据有表:crawler.videos,表结构是: _id, playUrl, siteId...

只有_id是有索引的,siteId不同的值分别代表不同的网站。值有:1,2,3三个值。

现在要统计数据库中每个网站的所含有的id数。就是相当于在mySql中select count(_id),siteId from videos group by siteId 的语句。

以siteId分组,统计各siteId所含有的id数。在mongo中,可以通过group函数来做,也可以通过mapReduce来做,现记录两种做法:

通过group()函数

语法:
db.coll.group(
{key: { fieldToGroup :
true },
cond: { condition_where },
reduce: function(obj , prev) { logical_sentenct; },
initial: { initial_values }
});

对于上述的需求,可以这样写:
use crawler;
db.videos.group(
{key:{siteId:true},
reduce:function(obj,prev){ prev.count++;},
initial:{count:0}
});

现在说明一下:因为需求中没条件限制,所以cond域就不用写了。另外在reduce中,那个function函数可以提出外面写,如:
r = function(obj,prev){
prev.count++};

db.videos.group(
{key:{siteId:true},
reduce: r,
initial:{count:0}
});

在mongoDB中,function()就相当于JavaScript的语法。
这里需要注意的是,在reduce的function函数中,一定要有两个参数(obj,prev),obj是当前遍历的对象,
prev是聚合计数器[aggregation counter obj]。

上述命令的结果显示是:
[
{
"siteId" : 1,
"count" : 188603
},
{
"siteId" : 3,
"count" : 2198
},
{
"siteId" : 2,
"count" : 210
}
]

通过MapReduce方法:
在mongo终端输入:
m = function () {
emit(this.siteId, 1);
};

r = function (key, values) {
var total = 0;
for (var i = 0; i < values.length; i++) {
total += values[i];
}
return total;
};

res = db.videos.mapReduce(m,r);

db[res.result].find(); //显示结果
上述的函数显示每个siteId的总记录数,结果如下:
{ "_id" : 1, "value" : 188603 }
{ "_id" : 2, "value" : 210 }
{ "_id" : 3, "value" : 2198 }

res = db.videos.mapReduce(m,r); 语句也可以这样写:
res = db.runCommand({
mapreduce:"videos",
map:m,
reduce:r});
若忘记把db.runCommand()的结果传入res中,则可以在运行完runCommand命令的打印信息里找到
"result" : "tmp.mr.mapreduce_1291273572_8",之类的信息,则表明结果保存在
tmp.mr.mapreduce_1291273572_8的表中,在终端直接写:
tmp.mr.mapreduce_1291273572_8.find()则会显示结果。

最后db[res.result].drop(),把最后结果删除。
Map函数中需要把emit()函数把结果传给reduce函数。emit(key,value)中,key是value作为分组的key,
value的类型需要和reduce函数的values的类型一致。Map函数在传给Reduce函数前,会合并相同key的value,
形成(key,values)的中间结果,并传给reduce函数。
Reduce函数中对中间结果进行处理,并把最后结果存入result中。

在mapReduce中可以添加条件,如db.videos.mapReduce(m,r[,option...]) 或根据官方文档的标准语法:
db.runCommand(
{ mapreduce : <collection>,
map : <mapfunction>,
reduce : <reducefunction>
[, query : <query filter object>]
[, sort : <sort the query. useful for optimization>]
[, limit : <number of objects to return from collection>]
[, out : <output-collection name>]
[, outType : ("normal" |"merge" |"reduce" )] -- since 1.7.3
[, keeptemp: <true |false >]
[, finalize : <finalizefunction>]
[, scope : <object where fields go into javascript global scope >]
[, verbose : true
]
}


);
  评论这张
 
阅读(1440)| 评论(1)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018