作者：运维人在路上

个人博客：https://www.cnblogs.com/hujinzhong

微信公众号：运维人在路上

Bilibili账号：https://space.bilibili.com/409609392

个人简介：本人是一枚大型电商平台的运维工程师，对开发及运维有一定了解，现分享技术干货，欢迎大家交流！

1）MongoDB是一个开源、高性能、无模式的文档型数据库，当初的设计就是用于简化开发和方便扩展，是NoSQL数据库产品中的一种。是最像关系型数据库（MySQL）的非关系型数据库。

2）它支持的数据结构非常松散，是一种类似于 JSON 的 格式叫BSON，所以它既可以存储比较复杂的数据类型，又相当的灵活。

3）MongoDB中的记录是一个文档，它是一个由字段和值对（field:value）组成的数据结构。MongoDB文档类似于JSON对象，即一个文档认为就是一个对象。字段的数据类型是字符型，它的值除了使用基本的一些类型外，还可以包括其他文档、普通数组和文档数组。

MySQL和MongoDB对比：

MongoDB的最小存储单位就是文档(document)对象。文档(document)对象对应于关系型数据库的行。数据在MongoDB中以BSON（Binary-JSON）文档的格式存储在磁盘上。

BSON（Binary Serialized Document Format）是一种类json的一种二进制形式的存储格式，简称Binary JSON。BSON和JSON一样，支持内嵌的文档对象和数组对象，但是BSON有JSON没有的一些数据类型，如Date和BinData类型。

BSON采用了类似于 C 语言结构体的名称、对表示方法，支持内嵌的文档对象和数组对象，具有轻量性、可遍历性、高效性的三个特点，可以有效描述非结构化数据和结构化数据。这种格式的优点是灵活性高，但它的缺点是空间利用率不是很理想。

Bson中，除了基本的JSON类型：string,integer,boolean,double,null,array和object，mongo还使用了特殊的数据类型。这些类型包括date,object id,binary data,regular expression 和code。每一个驱动都以特定语言的方式实现了这些类型，查看你的驱动的文档来获取详细信息。

BSON数据类型参考列表：

注意：shell默认使用64位浮点型数值。{“x”：3.14}或{“x”：3}。对于整型值，可以使用NumberInt（4字节符号整数）或NumberLong（8字节符号整数），{“x”:NumberInt(“3”)}{“x”:NumberLong(“3”)}

MongoDB主要有如下特点：

1）高性能

MongoDB提供高性能的数据持久性。特别是对嵌入式数据模型的支持减少了数据库系统上的I/O活动。

索引支持更快的查询，并且可以包含来自嵌入式文档和数组的键。（文本索引解决搜索的需求、TTL索引解决历史数据自动过期的需求、地

理位置索引可用于构建各种 O2O 应用）

mmapv1、wiredtiger、mongorocks（rocksdb）、in-memory 等多引擎支持满足各种场景需求。

Gridfs解决文件存储的需求。

2）高可用性

MongoDB的复制工具称为副本集（replica set），它可提供自动故障转移和数据冗余。

3）高扩展性

MongoDB提供了水平可扩展性作为其核心功能的一部分。分片将数据分布在一组集群的机器上。（海量数据存储，服务能力水平扩展）

从3.4开始，MongoDB支持基于片键创建数据区域。在一个平衡的集群中，MongoDB将一个区域所覆盖的读写只定向到该区域内的那些

片。

4）丰富的查询支持

MongoDB支持丰富的查询语言，支持读和写操作(CRUD)，比如数据聚合、文本搜索和地理空间查询等。

5）其他特点

如无模式（动态模式）、灵活的文档模型

MongoDB可应对三高要求：

具体的应用场景如：

1）社交场景，使用 MongoDB 存储存储用户信息，以及用户发表的朋友圈信息，通过地理位置索引实现附近的人、地点等功能。

2）游戏场景，使用 MongoDB 存储游戏用户信息，用户的装备、积分等直接以内嵌文档的形式存储，方便查询、高效率存储和访问。

3）物流场景，使用 MongoDB 存储订单信息，订单状态在运送过程中会不断更新，以 MongoDB 内嵌数组的形式来存储，一次查询就能将

订单所有的变更读取出来。

4）物联网场景，使用 MongoDB 存储所有接入的智能设备信息，以及设备汇报的日志信息，并对这些信息进行多维度的分析。

5）视频直播，使用 MongoDB 存储用户信息、点赞互动信息等。

数据操作的特点：

1）下载安装包

下载地址：https://www.mongodb.com/try/download/community

版本选择：

MongoDB的版本命名规范如：x.y.z

y为奇数时表示当前版本为开发版，如：1.5.2、4.1.13

y为偶数时表示当前版本为稳定版，如：1.6.3、4.0.10

z是修正版本号，数字越大越好。

2）解压启动

将压缩包解压到一个目录中，在解压目录中，手动建立一个目录用于存放数据文件，如 data/db

方式一：命令行参数启动服务

在 bin 目录中打开命令行提示符，输入如下命令：

方式二：配置文件方式启动服务

在解压目录中新建conf文件夹，该文件夹中新建配置文件 mongod.conf

配置项文档：https://docs.mongodb.com/manual/reference/configuration-options/

启动方式：

更多参数配置示例：

mongod常用命令：

下载地址：https://www.mongodb.com/try/download/compass?initial=true

下载地址：https://robomongo.org/

系统默认数据库：

1）显式创建集合

2）隐式创建集合

当向一个集合中插入一个文档的时候，如果集合不存在，则会自动创建集合。提示：通常我们使用隐式创建文档

文档（document）的数据结构和 JSON 基本一样。所有存储在集合中的数据都是 BSON 格式

1）单个文档插入

提示：

2）文档批量插入

插入时指定了 _id ，则主键就是该值。

如果某条数据插入失败，将会终止插入，但已经插入成功的数据不会回滚掉。

因为批量插入由于数据较多容易出现失败，因此，可以使用try catch进行异常捕捉处理，测试的时候可以不处理

查询语法：

1）查询所有

2）投影查询（Projection Query）

如果要查询结果返回部分字段，则需要使用投影查询（不显示所有字段，只显示指定的字段）

1）覆盖修改

2）局部修改

需要使用修改器$set来实现

3）批量修改

4）列值增长修改

想实现对某列值在原有值的基础上进行增加或减少，可以使用 $inc 运算符来实现

刪除语法：db.集合名称.remove(条件)

1）统计查询

2）分页列表查询

可以使用limit()方法来读取指定数量的数据，使用skip()方法来跳过指定数量的数据

分页查询需求：每页2个，第二页开始：跳过前两条数据，接着值显示3和4条数据

3）排序查询

sort() 方法对数据进行排序，sort() 方法可以通过参数指定排序的字段，并使用 1 和 -1 来指定排序的方式，其中 1 为升序排列，而 -1 是用于降序排列

注意：skip(), limilt(), sort()三个放在一起执行的时候，执行的顺序是先 sort(), 然后是 skip()，最后是显示的 limit()，和命令编写顺序无关

4）正则查询

MongoDB的模糊查询是通过正则表达式的方式实现的，格式为：

示例如下：

5）比较查询

格式如下：

6）包含查询

使用$in操作符和用$nin操作符

7）条件连接查询

语法格式如下：

示例如下：

索引支持在MongoDB中高效地执行查询。如果没有索引，MongoDB必须执行全集合扫描，即扫描集合中的每个文档，以选择与查询语句匹配的文档。这种扫描全集合的查询效率是非常低的，特别在处理大量的数据时，查询可以要花费几十秒甚至几分钟，这对网站的性能是非常致命的。如果查询存在适当的索引，MongoDB可以使用该索引限制必须检查的文档数。

索引是特殊的数据结构，它以易于遍历的形式存储集合数据集的一小部分。索引存储特定字段或一组字段的值，按字段值排序。索引项的排序支持有效的相等匹配和基于范围的查询操作。此外，MongoDB还可以使用索引中的排序返回排序结果。

官网文档：https://docs.mongodb.com/manual/indexes/

了解：MongoDB索引使用B树数据结构（确切的说是B-Tree，MySQL是B+Tree）

MongoDB支持在文档的单个字段上创建用户定义的升序/降序索引，称为单字段索引（Single Field Index）

对于单个字段索引和排序操作，索引键的排序顺序（即升序或降序）并不重要，因为MongoDB可以在任何方向上遍历索引

MongoDB还支持多个字段的用户定义索引，即复合索引（Compound Index）。

复合索引中列出的字段顺序具有重要意义。例如，如果复合索引由 { userid: 1, score: -1 } 组成，则索引首先按userid正序排序，然后在每个userid的值内，再在按score倒序排序

1）地理空间索引（Geospatial Index）

为了支持对地理空间坐标数据的有效查询，MongoDB提供了两种特殊的索引：返回结果时使用平面几何的二维索引和返回结果时使用球面几何的二维球面索引。

2）文本索引（Text Indexes）

MongoDB提供了一种文本索引类型，支持在集合中搜索字符串内容。这些文本索引不存储特定于语言的停止词（例如“the”、“a”、“or”），而将集合中的词作为词干，只存储根词。

3）哈希索引（Hashed Indexes）

为了支持基于散列的分片，MongoDB提供了散列索引类型，它对字段值的散列进行索引。这些索引在其范围内的值分布更加随机，但只支持相等匹配，不支持基于范围的查询

返回一个集合中的所有索引的数组

默认_id索引：MongoDB在创建集合的过程中，在 _id 字段上创建一个唯一的索引，默认名字为 _id_ ，该索引可防止客户端插入两个具有相同值的文

档，您不能在_id字段上删除此索引。

注意：该索引是唯一索引，因此值不能重复，即 _id 值不能重复的。在分片集群中，通常使用 _id 作为片键

1）创建单字段索引

2）创建复合索引

提示： _id 的字段的索引是无法删除的，只能删除非 _id 字段的索引

分析查询性能（Analyze Query Performance）通常使用执行计划来查看查询的情况，如查询耗费的时间、是否基于索引查询等

1）单字段索引执行计划

在compass中执行查看：

下面对userid建立索引，再次查看执行计划

文档：https://docs.mongodb.com/manual/core/query-optimization/#read-operations-covered-query

当查询条件和查询的投影仅包含索引字段时，MongoDB直接从索引返回结果，而不扫描任何文档或将文档带入内存。 这些覆盖的查询可以非常有效

1）搭建项目工程article，pom.xml引入依赖

2）编写application.yml

3）启动类

4）实体类**

5）Dao层

6）service层

7）测试类

官方文档：https://docs.mongodb.com/manual/replication/

MongoDB中的副本集（Replica Set）是一组维护相同数据集的mongod服务。 副本集可提供冗余和高可用性，是所有生产部署的基础

副本集类似于有自动故障恢复功能的主从集群。通俗的讲就是用多台机器进行同一数据的异步同步，从而使多台机器拥有同一数据的多个副本，并且当主库当掉时在不需要用户干预的情况下自动切换其他备份服务器做主库。而且还可以利用副本服务器做只读服务器，实现读写分离，提高负载

1）冗余和数据可用性

通过在不同数据库服务器上提供多个数据副本，复制可提供一定级别的容错功能，以防止丢失数据。在某些情况下，复制可以增加读取性能，因为客户端可以将读取操作发送到不同的服务上， 在不同数据中心维护数据副本可以增加分布式应用程序的数据位置和可用性。 您还可以为专用目的维护其他副本，例如灾难恢复，报告或备份

2）MongoDB中的复制

副本集是一组维护相同数据集的mongod实例。 副本集包含多个数据承载节点和可选的一个仲裁节点。在承载数据的节点中，一个且仅一个成员被视为主节点，而其他节点被视为次要（从）节点。主节点接收所有写操作

辅助(副本)节点复制主节点的oplog并将操作应用于其数据集，以使辅助节点的数据集反映主节点的数据集。 如果primary不在，则符合条件的secondary将举行选举以选出新的主节点

3）主从复制和副本集区别

主从集群和副本集最大的区别就是副本集没有固定的“主节点”；整个集群会选出一个“主节点”，当其挂掉后，又在剩下的从节点中选中其他节点为“主节点”，副本集总有一个活跃点(主、primary)和一个或多个备份节点(从、secondary)

副本集主要有三种角色：

关于仲裁者的说明：

仲裁者不维护数据集。 仲裁者的目的是通过响应其他副本集成员的心跳和选举请求来维护副本集中的仲裁

如果你的副本+主节点的个数是偶数，建议加一个仲裁者，形成奇数，容易满足大多数的投票。

如果你的副本+主节点的个数是奇数，可以不加仲裁者

1）三台都安装mongoDB并配置

三台都要做的操作：

主节点-10.0.0.103：

副本节点-10.0.0.104：

仲裁者节点-10.0.0.105：

2）主节点初始化

此时查看副本集的配置：

查看副本集的状态：

3）添加副本从节点

4）添加仲裁节点

目标：测试三个不同角色的节点的数据读写情况

仲裁者节点，不存放任何业务数据的，可以登录查看，只存放副本集配置等数据

1）主节点故障

2）主节点网络不可达（默认心跳信息为10秒）

3）人工干预（rs.stepDown(600)）

1）票数最高，且获得了“大多数”成员的投票支持的节点获胜。"大多数"的定义为：假设复制集内投票成员数量为N，则大多数为 N/2 + 1。例如：3个投票成员，则大多数的值是2。当复制集内存活成员数量不足大多数时，整个复制集将无法选举出Primary，复制集将无法提供写服务，处于只读状态。

2）若票数相同，且都获得了“大多数”成员的投票支持的，数据新的节点获胜。数据的新旧是通过操作日志oplog来对比的

优先级：

在获得票数的时候，优先级（priority）参数影响重大。可以通过设置优先级（priority）来设置额外票数。优先级即权重，取值为0-1000，相当于可额外增加0-1000的票数，优先级的值越大，就越可能获得多数成员的投票（votes）数。指定较高的值可使成员更有资格成为primary，更低的值可使成员更不符合条件。默认情况下，优先级的值是1

优先级修改触发选举测试：提升从节点的优先级

关闭主节点，副本节点和仲裁节点对主节点的心跳失败，当失败超过10秒，此时因为没有主节点会自动触发选举。候选人只有一个就是副本节点，开始投票：

仲裁节点向副本节点投了一票，副本节点本身自带一票，因此共两票，超过了“大多数”

仲裁节点，没有选举权，副本节点不向其投票，其票数是0.

最终结果，副本节点成为主节点，具备读写功能

仲裁节点和主节点故障会导致副本集是只读状态，无法写入

主节点自动降级为副本节点（服务降级），副本集不可写数据了，已经故障了

写数据：primary写入

读操作是，同时打开主节点和从节点连接，但使用从节点获取数据

分片（sharding）是一种跨多台机器分布数据的方法， MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。换句话说：分片(sharding)是指将数据拆分，将其分散存在不同的机器上的过程。有时也用分区(partitioning)来表示这个概念。将数据分散到不同的机器上，不需要功能强大的大型计算机就可以储存更多的数据，处理更多的负载。

两种解决系统增长的方法：垂直扩展和水平扩展。

垂直扩展意味着增加单个服务器的容量，例如使用更强大的CPU，添加更多RAM或增加存储空间量。可用技术的局限性可能会限制单个机器对于给定工作负载而言足够强大。此外，基于云的提供商基于可用的硬件配置具有硬性上限。结果，垂直缩放有实际的最大值。

水平扩展意味着划分系统数据集并加载多个服务器，添加其他服务器以根据需要增加容量。虽然单个机器的总体速度或容量可能不高，但每台机器处理整个工作负载的子集，可能提供比单个高速大容量服务器更高的效率。扩展部署容量只需要根据需要添加额外的服务器，这可能比单个机器的高端硬件的总体成本更低。权衡是基础架构和部署维护的复杂性增加。

MongoDB支持通过分片进行水平扩展

MongoDB分片群集包含以下组件：

MongoDB在集合级别对数据进行分片，将集合数据分布在集群中的分片上

两个分片节点副本集（3+3）+一个配置节点副本集（3）+两个路由节点（2），共11个服务节点

1）解压mongoDB

2）创建存放数据和日志的目录

3）myshardrs01_27018 配置文件

4）myshardrs01_27118 配置文件

5）myshardrs01_27218 配置文件

6）启动第一套副本集：一主一副本一仲裁

7）登录mongo并初始化主节点

8）添加副本节点

9）添加仲裁节点

10）查看集群状态

1）解压mongoDB

2）创建存放数据和日志的目录

3）myshardrs02_27318 配置文件

4）myshardrs02_27418 配置文件

5）myshardrs012_27518 配置文件

6）启动第二套副本集：一主一副本一仲裁

7）登录mongo并初始化主节点

8）添加副本节点

9）添加仲裁节点

10）查看集群状态

1）解压mongoDB

2）创建存放数据和日志的目录

3）myconfigrs_27019配置文件

4）myconfigrs_27119配置文件

4）myconfigrs_27219配置文件

5）启动配置副本集：一主两副本

6）登录并初始化主节点

7）加入副本

8）查看状态

1）解压mongoDB

2）创建存放日志的目录（不需要创建数据目录）

3）mymongos_27017节点配置文件

4）启动mongos

5）在路由节点记性分片配置操作

6）添加第一套分片副本集

7）添加第二套分片副本集

提示：如果添加分片失败，需要先手动移除分片，检查添加分片的信息的正确性后，再次添加分片，如果只剩下最后一个shard，是无法删除的

8）指定库开启分片功能

在mongos上的articledb数据库配置sharding

9）具体集合进行分片

对集合进行分片时,你需要选择一个 片键（Shard Key） , shard key 是每条记录都必须包含的,且建立了索引的单个字段或复合字段,MongoDB按照片键将数据划分到不同的 数据块 中,并将 数据块均衡地分布到所有分片中.为了按照片键划分数据块,MongoDB使用 基于哈希的分片方式（随机平均分配）或者基于范围的分片方式（数值大小分配）

分片规则一：哈希策略

对于 基于哈希的分片 ,MongoDB计算一个字段的哈希值,并用这个哈希值来创建数据块.在使用基于哈希分片的系统中,拥有”相近”片键的文档 很可能不会 存储在同一个数据块中,因此数据的分离性更好一些。示例使用nickname作为片键，根据其值的哈希值进行数据分片

分片规则二：范围策略

对于 基于范围的分片 ,MongoDB按照片键的范围把数据分成不同部分.假设有一个数字的片键:想象一个从负无穷到正无穷的直线,每一个片键的值都在直线上画了一个点.MongoDB把这条直线划分为更短的不重叠的片段,并称之为 数据块 ,每个数据块包含了片键在一定范围内的数据.在使用片键做范围划分的系统中,拥有”相近”片键的文档很可能存储在同一个数据块中,因此也会存储在同一个分片中.

如使用作者年龄字段作为片键，按照点赞数的值进行分片：

1）登录mongs后，向comment循环插入1000条数据做测试

2）登录第一个分片集群

3）登录第二个分片集群

可以看到，1000条数据近似均匀的分布到了2个shard上。是根据片键的哈希值分配的。这种分配方式非常易于水平扩展：一旦数据存储需要更大空间，可以直接再增加分片即可，同时提升了性能

范围分片默认的数据库尺寸（chunksize）是64M，填满后才会考虑向其他片的数据块填充数据，因此，为了测试，可以将其改小，这里改为1M

1）登录mongs后，向comment循环插入20000条数据做测试

1）创建日志文件夹

2）创建配置文件

3）启动mongos2

4）使用mongo客户端登录27117

第二个路由无需配置，因为分片配置都保存到了配置服务器中了

和连接单机mongod一样

Java客户端常用的是SpringDataMongoDB，其连接的是mongs路由，配置和单机mongod的配置是一样的。多个路由的时候的SpringDataMongoDB的客户端配置(application.yml)参考如下：

默认情况下，MongoDB实例启动运行时是没有启用用户访问权限控制的，也就是说，在实例本机服务器上都可以随意连接到实例进行各种操作，MongoDB不会对连接客户端进行用户验证，这是非常危险的。

1）保障mongodb的安全可以做以下几个步骤：

使用新的端口：默认的27017端口如果一旦知道了ip就能连接上，不太安全。

设置mongodb的网络环境，最好将mongodb部署到公司服务器内网，这样外网是访问不到的。公司内部访问使用vpn等。

开启安全认证。认证要同时设置服务器之间的内部认证方式，同时要设置客户端连接到集群的账号密码认证方式。

2）相关概念

启用访问控制：MongoDB使用的是基于角色的访问控制(Role-Based Access Control,RBAC)来管理用户对实例的访问。通过对用户授予一个或多个角色来控制用户访问数据库资源的权限和数据库操作的权限，在对用户分配角色之前，用户无法访问实例。在实例启动时添加选项 --auth 或指定启动配置文件中添加选项 auth=true 。

角色：在MongoDB中通过角色对用户授予相应数据库资源的操作权限，每个角色当中的权限可以显式指定，也可以通过继承其他角色的权限，或者两都都存在的权限。在角色定义时可以包含一个或多个已存在的角色，新创建的角色会继承包含的角色所有的权限。在同一个数据库中，新创建角色可以继承其他角色的权限，在 admin 数据库中创建的角色可以继承在其它任意数据库中角色的权限。

权限：权限由指定的数据库资源(resource)以及允许在指定资源上进行的操作(action)组成

3）权限命令

4）角色说明

常用的内置角色：

角色说明：

1）按照普通无授权认证的配置先启动mongoDB

2）登录mongoDB，创建两个管理员用户，一个是系统的超级管理员 myroot ，一个是admin库的管理用户myadmin

注意：

（1）本案例创建了两个用户，分别对应超管和专门用来管理用户的角色，事实上，你只需要一个用户即可。如果你对安全要求很高，防止超管泄漏，则不要创建超管用户。

（2）和其它数据库（MySQL）一样，权限的管理都差不多一样，也是将用户和权限信息保存到数据库对应的表中。Mongodb存储所有的用户信息在admin 数据库的集合system.users中，保存用户名、密码和数据库信息。

（3）如果不指定数据库，则创建的指定的权限的用户在所有的数据库上有效，如 {role: "userAdminAnyDatabase", db:""}

3）认证测试

4）创建普通用户

创建普通用户可以在没有开启认证的时候添加，也可以在开启认证之后添加，但开启认证之后，必须使用有操作admin库的用户登录认证后才能操作。底层都是将用户信息保存在了admin数据库的集合system.users中

如果开启了认证后，登录的客户端的用户必须使用admin库的角色，如拥有root角色的myadmin用户，再通过myadmin用户去创建其他角色的用户

1）关闭启动的服务

主要需要几个条件：

2）开启认证的方式启动服务

有两种方式开启权限认证启动服务：一种是参数方式，一种是配置文件方式。

方式一：参数方式

方式二：配置文件方法

3）客户端连接

有两种认证方式，一种是先登录，在mongo shell中认证；一种是登录时直接认证。

方式一：在mongoDB shell中认证

方式二：连接时直接认证

application.yml配置文件：

对副本集执行访问控制需要配置两个方面:

1）副本集和共享集群的各个节点成员之间使用内部身份验证，可以使用密钥文件或x.509证书。密钥文件比较简单，本文使用密钥文件，官方推荐如果是测试环境可以使用密钥文件，但是正式环境，官方推荐x.509证书。原理就是，集群中每一个实例彼此连接的时候都检验彼此使用的证书的内容是否相同。只有证书相同的实例彼此才可以访问

2）使用客户端连接到mongodb集群时，开启访问授权。对于集群外部的访问。如通过可视化客户端，或者通过代码连接的时候，需要开启授权。

3）在keyfile身份验证中，副本集中的每个mongod实例都使用keyfile的内容作为共享密码，只有具有正确密钥文件的mongod或者mongos实例可以连接到副本集。密钥文件的内容必须在6到1024个字符之间，并且在unix/linux系统中文件所有者必须有对文件至少有读的权限

application.yml文件配置：

分片集群环境下的安全认证和副本集环境下基本上一样，所有的节点都要保持相同的keyfile。

但分片集群的服务器环境和架构较为复杂，建议在搭建分片集群的时候，直接加入安全认证和服务器间的鉴权，如果之前有数据，可先将之前的数据备份出来，再还原回去。

-------------------------------------------

个性签名：独学而无友，则孤陋而寡闻。做一个灵魂有趣的人！