今天开发同学向我们提了一个紧急的需求,从集合mt_resources_access_log中,根据字段refererDomain分组,取分组中最近一笔插入的数据,然后将这些符合条件的数据导入到集合mt_resources_access_log_new中。
接到这个需求,还是有些心虚的,原因有二,一是,业务需要,时间紧;二是,实现这个功能MongoDB聚合感觉有些复杂,聚合要走好多步。
<强>数据记录格式如下:
记录1
{
" _id ": ObjectId (" 5 c1e23eaa66bf62c0c390afb "),
:“_class C1”,
:“resourceUrl/静态/js/p.js”,
“refererDomain”:“1234”,
:“resourceType static_resource”,
“知识产权”:“17.17.13.13”,
“createTime”: ISODate (“2018 - 12 - 22 t19:45:46.015 +喂饲”),
“禁用”:0
}
记录2
{
" _id ": ObjectId (" 5 c1e23eaa66bf62c0c390afb "),
:“_class C1”,
:“resourceUrl/静态/js/p.js”,
“refererDomain”:“1234”,
:“resourceType Dome_resource”,
“知识产权”:“17.17.13.14”,
“createTime”: ISODate (“2018 - 12 - 21 t19:45:46.015 +喂饲”),
“禁用”:0
}
记录3
{
" _id ": ObjectId (" 5 c1e23eaa66bf62c0c390afb "),
:“_class C2”,
:“resourceUrl/静态/js/p.js”,
“refererDomain”:“1235”,
:“resourceType static_resource”,
“知识产权”:“17.17.13.13”,
“createTime”: ISODate (“2018 - 12 - 20 t19:45:46.015 +喂饲”),
“禁用”:0
}
记录4
{
" _id ": ObjectId (" 5 c1e23eaa66bf62c0c390afb "),
:“_class C2”,
:“resourceUrl/静态/js/p.js”,
“refererDomain”:“1235”,
:“resourceType Dome_resource”,
“知识产权”:“17.17.13.13”,
“createTime”: ISODate (“2018 - 12 - 20 t19:45:46.015 +喂饲”),
“禁用”:0
}
以上是我们的4条记录,类似的记录文档有1500 w。
因为情况特殊,业务发版需要这些数据。催的比较急,而通过聚合框架,短时间有没有思路,所以,当时就想着尝试采用其他方案。
<强>最后,问题处理方案如下。
第1步通过聚合框架根据条件要求先分组,并将新生成的数据输出到集合mt_resources_access_log20190122中(共产生95笔数据);
db.log_resources_access_collect.aggregate (
［
{$组:{_id:“refererDomain美元}},
{$:“mt_resources_access_log20190122”}
]
)
步骤2通过2次forEach操作,循环处理mt_resources_access_log20190122和mt_resources_access_log的数据。
代码解释,处理的逻辑为,循环逐笔取出mt_resources_access_log20190122的数据(共95笔),每笔逐行加工处理,处理的逻辑主要是根据自己的_id字段数据(此字段来自mt_resources_access_log聚合前的refererDomain字段),去和mt_resources_access_log的字段refererDomain比对,查询出符合此条件的数据,并且是按_id倒序,仅取一笔,最后将加入刷选后的数据插入到集合mt_resources_access_log_new。
新集合也是95笔数据。
大家不用担心性能,查询语句在1 s内实现了结果查询。
db.mt_resources_access_log20190122.find ({}) .forEach (
函数(x) {
db.mt_resources_access_log。找到({“refererDomain”: x。_id})。排序({_id: 1}) .limit (1) .forEach (
函数(y) {
db.mt_resources_access_log_new.insert (y)
}
)
}
)
第三步查询验证新产生的集合mt_resources_access_log_new,结果符合业务要求。
刷选前集合mt_resources_access_log的数据量为1500多w .
刷选后产生新的集合mt_resources_access_log_new数据量为95笔。
根据时间排序的要求,因为部分文档没有createTime字段类型,且createTime字段上没有创建索引,所以未了符合按时间排序我们采用了排序({_id: 1})的变通方法,因为_id还有时间的意义。下面的内容为MongoDB对应_id的相关知识。
最重要的是前4个字节包含着标准的Unix时间戳。后面3个字节是机器ID、紧接着是2个字节的进程ID。最后3个字节存储的是进程本地计数器。计数器可以保证同一个进程和同一时刻内不会重复。
