MongoDB查询实现笛卡尔积,Union All 和Union 功能_mongo union_茅坤宝骏氹的博客

何为Union All 和 Union

Union All指令的目的是将两个结果放在一起并且不管是否有重复,Union指令则把结果合并且去掉重复结果.

SQL中的实现Union All

在sql中,我们可以很简单的就实现 Union All 的效果.比如在sql中,我们的数据是

id	type	id	type
1	OPEN	1	OPEN
2	CLOSE	2	ISSUE
3	REJECT	3	VOID
4	REQUEST

我们在sql中 Union All 的写法是:

select a.type as type from tableA a Union All select b.type from tableB b;

得到的结果是:

type
OPEN
CLOSE
REJECT
REQUEST
OPEN
ISSUE
VOID

MongoDB 的语法实现

在MongoDB中,对于给我们表联结相关使用的函数,有aggregate中的 $lookup 函数,
参照我们的官方例子,我们很容易就能理解 $lookup 函数的作用,相当于我们在sql里面的表联结,如:

select a.*,b.* from tableA a,tableB as b where a._id = b.tableAId;

在 $lookup 函数中,有以下参数为必填:

from: <collection to join>, //等价于上面的 tableB
localField: <field from the input documents>, // 等价于上面的 a._id
foreignField: <field from the documents of the "from" collection>, //等价于上面的 b.tableAId
as: <output array field> // 等价于上面as后面的 b

那么如何使用联结作用的函数来实现Union All 的作用呢?其实很简单,在上面的4个参数里面, localField 和 foreignField 是必填的,但是在mongo里面,我们可以填写一个无效的field(不存在表里面的field)来实现我们的效果

我们的测试数据如下:

tableA
{"_id":"1","type":"OPEN"}
{"_id":"2","type":"CLOSE"}
{"_id":"3","type":"REJECT"}
{"_id":"4","type":"REQUECT"}
tableB
{"_id":"1","type":"OPEN"}
{"_id":"2","type":"ISSUE"}
{"_id":"3","type":"VOID"}

1. 实现笛卡尔积

首先我们写的查询语句如下,将 localField 和 foreignField 随便填写一个String语句,只要是不在表里面存在的field即可

db.tableA.aggregate([
        $lookup:{
            from:"tableB",
            localField:"invalidField",
            foreignField:"testField",
            as:"tableB"
查询结果: 
_id type tableB
1 OPEN [3 elements]
1 CLOSE [3 elements]
1 REJECT [3 elements]
1 REQUEST [3 elements] 
 在MongoDB里面,field的判断是空等于空的,value的判断空是不等于空的. 两个等于空的field去比较,相当于 在sql 里面 where 1=1 的写法. 
可以看到,我们tableA的每一条记录都匹配到了tableB的3个元素(所有数据),此时只要我们将tableB的记录 $unwind出来,就实现了笛卡尔积的效果了. 
$unwind语法如下: 
db.tableA.aggregate([
        $lookup:{
            from:"tableB",
            localField:"invalidField",
            foreignField:"testField",
            as:"tableB"
        $unwind:{
            path:"$tableB"
        $project:{
            _id:1,
            type:1,
            tableBId:"$tableB._id",
            tableBType:"$tableB.type"
等价于sql语句: 
select a.id,a.type,b.id as tableId,b.type as tableBType from tableA a,tableB bwhere 1=1; 
 查询结果可以自行测试 
2. 实现Union 
在MongoDB里面,有一个$setUnion的函数,$setUnion函数被union的参数必需是数组,
 在我们tableA lookup tableB之后返回来的结果,tableB已经是一个一个数组了,但是我们的tableA的type是一个字符串值,所以我们需要先将tableA的内容先转为数组,才能进行union. 
 All operands of $setUnion must be arrays. 
将tableA里面的所有记录转为一个数组需要用到$gourp函数里面的$push功能.
 查询语法如下: 
db.tableA.aggregate([
        $group:{
            _id:"any",
            tableA:{
                $push: "$$ROOT"
查询结果: 
_id tableA
any [4 elements] 
因为$gourp函数里面的_id属性是必选的,但是这里我们不用到,所以填任意字符串或者null都可以.使用$push之后,tableA的所有记录,都被push到了我们命名为tableA的数组里面,
 此时我们在$lookup tableB看看结果如何.
 查询语法如下: 
db.tableA.aggregate([
        $group:{
            _id:"any",
            typeArray:{
                $push: "$$ROOT"
        $lookup:{
            from:"tableB",
            localField:"invalidField",
            foreignField:"testField",
            as:"tableB"
查询结果: 
_id tableA tableB
any [4 elements] [3 elements] 
可以看到,我们的tableA,和tableB的结果都变成了数组,此时我们已经可以使用$setUnion函数去实现我们的Union效果了 
db.tableA.aggregate([
        $group:{
            _id:"any",
            tableA:{
                $push: "$$ROOT"
        $lookup:{
            from:"tableB",
            localField:"invalidField",
            foreignField:"testField",
            as:"tableB"
        $project:{
            _id:0,
            allValue:{
                $setUnion:["$tableA","$tableB"]
查询结果: 
allValue
[6 elements] 
此处只有6个元素在数组里面,已经把重复的去掉了,可以说我们的Union效果已经实现,之后在把结果用$unwind展开即可.
 查询语法如下: 
db.tableA.aggregate([
        $group:{
            _id:"any",
            tableA:{
                $push: "$$ROOT"
        $lookup:{
            from:"tableB",
            localField:"invalidField",
            foreignField:"testField",
            as:"tableB"
        $project:{
            _id:0,
            allValue:{
                $setUnion:["$tableA","$tableB"]
        $unwind:{
            path:"$allValue"
        $project:{
            _id:0,
            type:"$allValue.type"
3. 实现Union All 
实现Union All 的原理与union 的类似,我们可以在把tableA push 成一个数组前,新增一个field,或者只push type,那么在union的时候,因为table A 和 table B field 数量不一致,那么永远不会合并成一行,因为它们任意一行都是不一样的.
 查询语法如下: 
db.tableA.aggregate([
        $group:{
            _id:"any",
            tableA:{
                $push: {type:"$type"}
        $lookup:{
            from:"tableB",
            localField:"invalidField",
            foreignField:"testField",
            as:"tableB"
        $project:{
            _id:0,
            allValue:{
                $setUnion:["$tableA","$tableB"]
    {$unwind:"$allValue"},
        $project:{
            _id:0,
            type:"$allValue.type"
 Union All 的结果,可以通过group的方式去重来变成 Union 的效果. $group函数在此就不再细讲,可以参考官网. 
在我们的MongoDB官方文档里面介绍了一些函数的基本语法,但是功能方面比较Oracle等传统关系型数据库来说还是比较少的,因为一些如本文讲的Union等这些功能,只能根据现有的功能去实现.
 而在官网和网上现有的资料里面,是没有实现Union这些功能的介绍的,因此写下了这篇文档. 
                                    MongoDB是面向文档的开源数据库，Morphia是面向MongoDB
的类型安全的对象映射库。本文解释了在文档和对象之间进行映射的好处，并演示了如何使用Morphia来实现这个功能。然后演示了如何持久保存、加载、删除和查询映射到
MongoDB的Java域模型。MongoDB是面向文档的数据库，用于存储并检索类似JavaScript
对象符号（JavaScriptObjectNotation，JSON
		lookup()
			(String from, String localField, String foreignField, String as)
			from：关联表localField：主记录关联字段，传入的是MongoDB中的字段名，非实体类字段名foreignField：关联表关联字段，字段名同上as：别名，及实体类映射字段名（lookup默认返回的类型是Arr
                                    >>发布会传送门
了解产品详情
MongoDB 在今年正式发布了新的 4.4 大版本，这次的发布包含众多的增强 Feature，可以称之为是一个维护性的版本，而且是一个用户期待已久的维护性版本，MongoDB 官方也把这次发布称为「User-Driven Engineering」，说明新版本主要是针对用户呼声最高的一些痛点，重点进行了改进。
而阿里云作为 MongoDB 官方的全球战略合作伙伴，也即将全网独家上线 4.4 新版本，下面就由阿里云 MongoDB 团队的工程师针对一些用户关注度比
                                    此篇文章及以后的文章大部分都是从聚合管道(aggregation pipeline)的一些语法为基础讲解的,如果不理解聚合管道的话,可以先学习一下会比较容易理解.可以参考 mongoDB Documentation 的 Pipeline Aggregaion Stages.何为Union All 和 UnionUnion All指令的目的是将两个结果放在一起并且不管是否有重复,Union指令则把结...
                                    管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。
MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。
表达式：处理输入文档并输出。表达式是无状态的，只能用于计算当前聚合管道的文档，不能处理其它的文档。
聚合框架中常用的几个操作：
$project：修改输入文档的结构。可以用来重命名、增加或删除
                                    对于MongoDB数据库，自己一直以来都是处于懂一些但是总是记不牢的情况，从根本上来说，还是对数据库不熟悉，所以趁这段找工作的时间，进行一个总结，梳理
MongoDB首先是一个“以空间换时间的数据库”，意思就是牺牲硬盘存储的大小来换取数据操作的时间，也就是说，它的数据操作来说，相对没那么难，和MySQL比起来，主要是去除了事务的操作，我们还是按照MySQL的思路来
一个mongodb中可以建立多...
                                    在之前的两篇文章Mongodb中数据聚合之基本聚合函数count、distinct、group
>和Mongodb中数据聚合之MapReduce
>中，我们已经对数据聚合提供了两种实现方式，今天，在这篇文章中，我们讲讲在Mongodb中的另外一种数据聚合实现方式——聚合管道aggregate。
面对着广大用户对数据统计的需求，Mongodb从2.2版本之后便引入了新的功能聚合框架（a
                                    没有数据就没有程序世界的一切；强大开源的MySQL依然是使用最广的核心数据解决方案;速度飙到天际的Redis堪称缓存之王；去结构化的MongoDB把开发速度带入新的次元;7天带你把流行DB一网打尽；桫哥出品依旧水煮，依旧不拘一格脑洞大开；

_id	type	tableB
1	OPEN	[3 elements]
1	CLOSE	[3 elements]
1	REJECT	[3 elements]
1	REQUEST	[3 elements]