MongoDB 使用 BI Connector 来支持 BI 组件直接使用 SQL 或 ODBC 数据源方式直接访问 MongoDB，在早期 MongoDB 直接使用 Postgresql FDW 来实现 SQL 到 MQL 的转换，后来实现更加轻量级的 mongosqld 来支持 BI 工具的连接。

安装 BI Connector

参考 Install BI Connector

wget https://info-mongodb-com.s3.amazonaws.com/mongodb-bi/v2/mongodb-bi-linux-x86_64-rhel70-v2.12.0.tgz$tar xvf mongodb-bi-linux-x86_64-rhel70-v2.12.0.tgzmongodb-bi-linux-x86_64-rhel70-v2.12.0/LICENSEmongodb-bi-linux-x86_64-rhel70-v2.12.0/READMEmongodb-bi-linux-x86_64-rhel70-v2.12.0/THIRD-PARTY-NOTICESmongodb-bi-linux-x86_64-rhel70-v2.12.0/example-mongosqld-config.ymlmongodb-bi-linux-x86_64-rhel70-v2.12.0/bin/mongosqldmongodb-bi-linux-x86_64-rhel70-v2.12.0/bin/mongodrdlmongodb-bi-linux-x86_64-rhel70-v2.12.0/bin/mongotranslate
  • mongosqld 接受 SQL 查询，并将请求发到 MongoDB Server，是 BI Connector 的核心
  • mongodrdl 工具生成数据库 schema 信息，用于服务 BI SQL 查询
  • mongotranslate 工具将 SQL 查询转换为 MongoDB Aggregation Pipeline

启动 mongosqld

参考 Lauch BI Connector

mongodb-bi-linux-x86_64-rhel70-v2.12.0/bin/mongosqld --addr 127.0.0.1:3307 --mongo-uri 127.0.0.1:9555
  • --addr 指定 mongosqld 监听的地址
  • --mongo-uri 指定连接的 MongoDB Server 地址

默认情况下，mongosqld 自动会分析目标 MongoDB Server 里数据的 Schema，并缓存在内存，我们也可以直接在启动时指定 schema 影射关系。schema 也可以直接 mongodrdl 工具来生成，指定集合，可以将集合里的字段 shema 信息导出。

$./bin/mongodrdl --uri=mongodb://127.0.0.1:9555/test -c coll01schema:- db: test  tables:  - table: coll01    collection: coll01    pipeline: []    columns:    - Name: _id      MongoType: float64      SqlName: _id      SqlType: float    - Name: qty      MongoType: float64      SqlName: qty      SqlType: float    - Name: type      MongoType: string      SqlName: type      SqlType: varchar

使用 MySQL 客户端连接 mongosqld

mongosqld 可直接支持 MySQL 客户端访问，还可以通过 Excel、Access、Tableau等BI工具连接

mysql --protocol=tcp --port=3307mysql> use testDatabase changedmysql> show tables;+----------------+| Tables_in_test |+----------------+| coll           || coll01         || coll02         || inventory      || myCollection   || yourCollection |+----------------+6 rows in set (0.00 sec)mysql> select * from coll01;+------+------+--------+| _id  | qty  | type   |+------+------+--------+|    1 |    5 | apple  ||    2 |   10 | orange ||    3 |   15 | banana |+------+------+--------+3 rows in set (0.00 sec)// 对照 MongoDB 数据库里的原始数据mongo --portmymongo:PRIMARY> use testswitched to db testmymongo:PRIMARY> show tables;collcoll01coll02inventorymyCollectionyourCollectionmymongo:PRIMARY> db.coll01.find(){ "_id" : 1, "type" : "apple", "qty" : 5 }{ "_id" : 2, "type" : "orange", "qty" : 10 }{ "_id" : 3, "type" : "banana", "qty" : 15 }

SQL 转 Aggregation

比如要将针对 test.coll01 的 SQL 查询转换为 MongoDB Aggregation Pipeline，需要先通过 mongodrdl 分析 schema，然后使用 mongotranslate 工具来转换

// 导出分析的 shema 文件$./bin/mongodrdl --uri=mongodb://127.0.0.1:9555/test -c coll01 > coll01.schema  // SQL 转换为 Aggregation$./bin/mongotranslate --query "select * from test.coll01" --schema coll01.schema[    {"$project": {"test_DOT_coll01_DOT__id": "$_id","test_DOT_coll01_DOT_qty": "$qty","test_DOT_coll01_DOT_type": "$type","_id": NumberInt("0")}},]


本文作者：张友东

阅读原文

本文为云栖社区原创内容，未经允许不得转载。