linux系统中MongoDB数据库安装及分片集群搭建

史上最全的mongodb分片集群搭建，从介绍安装到集群搭建授权，你再也找不到比他更加详细的资料了，未经允许禁止转载！！

MongoDB是一个便于开发和扩展设计的文档数据库，属于NoSQL数据库的一种。MongoDB中的记录是一个由字段和值组成的文档，类似于JSON对象。

Mongodb提供高性能的数据永久性

丰富的查询语言

支持数据聚合

例：

第一阶段: $match 阶段通过状态字段过滤文档，并将状态等于“ a”的文档传递到下一阶段。

第二阶段: $group 阶段通过 cust _ id 字段对文档进行分组，以计算每个惟一 cust _ id 的总和。

文字搜寻

例：使用以下文档创建一个集合存储

例：直接对名字和描述字段进行文本搜索

例：搜索包含java、coffee、shop中任何术语的所有商店

或者查找所有包含“咖啡店”的文件

或者包括java、shop，不包括coffee的文件

地理空间查询

高可用性

提供副本集

支持自动的数据转移、数据冗余

副本集属于一组MongoDB服务器，用于维护相同的数据集，提供冗余并增加数据可用性

水平可扩展性

支持多储存引擎，允许第三方开发引擎

导入包管理系统使用的公钥

如果报出：ok 则成功；

如果提示gnupg未安装，则：

之后重新导入密钥：

为 MongoDB 创建一个列表文件

Ubuntu 18.04：

Ubuntu 20.04：

Ubuntu 16.04：

重新加载本地包数据库

安装 MongoDB 软件包

要运行和管理 mongod 进程，需使用操作系统内置的 init 系统。Linux 的最新版本倾向于使用 systemd (使用 systemctl 命令) ，而 Linux 的旧版本倾向于使用 System v init (使用 service 命令)。

运行以下命令确认平台使用的那个init系统：

systemctl启动mongodb：

service启动mongodb：

sudo service mongod start

副本集是维护相同数据集的一组 mongod 实例。一个副本集包含多个数据承载节点和一个可选的仲裁节点。在数据承载节点中，一个且只有一个成员被视为主节点，而其他节点被视为次要节点。

主节点：接收所有写操作，一个副本集只能有一个。

副本节点：复制主节点操作日志，并将操作应用到它们的数据集中，以便副本节点的数据集备份主系统的数据集；在主节点挂掉后，有选举权限的副本节点会自动发起选举，并从中选举出新的主节点；副本节点可以通过配置指定其具体的属性，比如选举、隐藏、延迟同步等，最多可以有50个副本节点，但只能有7个副本节点能参与选举。虽然副本节点不能处理写操作，但可以处理读请求。

副本集架构：搭建一个副本集集群最少需要三个节点：一个主节点，两个备份节点，如果三个节点分布合理，基本可以保证线上数据99.9%安全。

仲裁节点：如果只有一个主节点，一个副本节点，且没有资源拿来当第二个副本节点，那就可以起一个仲裁者节点（arbiter），不存数据，只用来选举用。

副本集成员属性priority、hidden、slaveDelay、tags、votes

priority

对于副本节点可以使用该属性来控制其被选举为主节点的可能，取值范围为：0-1000（仲裁点取值只有0和1），值越大被选举称为主节点的可能性就越大，若为0则不能被选举，也不能发起选举。

hidden

配置hidden为true则会变成隐藏节点，隐藏节点会从主节点同步数据，但对客户端不可见，执行db.isMaster（）方法也不会显示，其priority值必须为0，不能被选举为主节点；但是如果配置有选举权则可以参加选举。

slaveDelay

延迟同步即延迟从主节点同步数据，其值若配置为1小时，则1小时后延迟节点才会同步主节点1小时前的数据。延迟节点必须是隐藏节点，priority=0.

tags

支持对副本集成员打标签，查询数据时使用

votes

表示节点是否有权选举，最大可一配置7个副本节点。

写关注

指主节点写入一条数据，主节点处理完成后，需要其他承载数据的副本节点也确认写完后才会返回写入成功。

其主要用于解决主节点挂掉后，数据还未来的及同步到副本节点，而导致的数据丢失问题。

可以配置节点个数：

w:1 表示主节点写入数据成功即可给客户端返回成功；（mongodb 4.4默认）

w:2 表示除了主节点，还需要收到其中一个副本节点返回写入成功；

w:majority 表示需要集群中大多数承载数据且有选举权限的节点返回写入成功。

设置：

自定义：

在副本集中配置（建库时添加）：

读偏好

读跟写不一样，为了保持一致性，写只能通过主节点，但读可以选择主节点，也可以选择副本节点，区别是主节点数据最新，副本节点因为同步问题可能会有延迟，但从副本节点读取数据可以分散对主节点的压力。

模式选择条件：

Tag Sets（标签）

给节点加上标签，然后查找数据时，可以根据标签选择对应的节点，然后在该节点查找数据。可以通过mongo shell 使用 rs.conf() 查看当前每个节点下面的 tags， 修改或者添加tags 。

给成员添加：

在连接到副本集的 mongo shell 中，为了将读操作指向标记为特定标记的辅助设备，可以使用 readPref ()方法指定读取首选模式和标记集。比如说

如果不确定某一标记是否存在，则可以：

若"dc": "east"没找到，则找"usage": "production"。

给副本集成员添加：

一个成员VA 标记为 dc_va；一个成员CA 标记为 dc_ca

自定义

定义一个write concern MultipleDC，它要求将 write 传播给两个具有不同 dc _ va 标记值的成员和一个具有任意 dc _ ca 标记值的成员。

自定义标记的使用：

maxStalenessSeconds （可容忍的最大同步延迟）

一般取回大于90S，小于这个值则会抛出异常

Hedged Read （对冲读取）

mongos 实例路由读取请求时会同时发给两个符合条件的副本集节点，然后那个先返回结果就返回这个结果给客户端（4.4版本和之后版本支持）

创建数据文件夹：

mkdir -p /data/master mkdir -p /data/slaver mkdir -p /data/arbiter

效果：data 文件夹包含 arbiter master slaver 三个文件夹

创建日志存放文件：

vi /log/master.log vi /log/slaver.log vi /log/arbiter.log

效果：log文件夹包含 master.log slaver.log arbiter.log 三个文件（注意，data文件夹和log文件夹均无上级文件夹，可自行创建不同名称不同位置的文件夹，注意路径与下文中的配置文件一致即可

创建配置文件

在第一步创建的三个文件中创建 文件夹同名.conf 后缀文件，即：master文件夹中应有 master.conf 文件，slaver文件夹中应有 slaver.conf文件，arbiter文件夹中应有 arbiter.conf文件。

各配置文件内容如下：

master.conf：

slaver.conf：

arbiter.conf：

参数：

dbpath：数据存放目录

logpath：日志存放路径

pidfilepath：进程文件，方便停止mongodb

directoryperdb：为每一个数据库按照数据库名建立文件夹存放

logappend：以追加的方式记录日志

replSet：replica set的名字

bind_ip：mongodb所绑定的ip地址

port：mongodb进程所使用的端口号，默认为27017

oplogSize：mongodb操作日志文件的最大大小。单位为Mb，默认为硬盘剩余空间的5%

fork：以后台方式运行进程

noprealloc：不预先分配存储

启动mongod程序

mongod --config

例如：

主从配置

启动mongo客户端：

设置主，从，仲裁点

参数：

zjd是可以任意的名字，不要用mongodb的关键字，conf，config都可以。

第一个_id表示replica set的名字，这个数据必须和第三步配置文件中的replica set一致，不然会报错。

members里包含的是所有节点的地址以及优先级，优先级最高的即成为主节点，值为0则不会参加选举成为主节点，对于仲裁节点，需要有个特别的配置——arbiterOnly:true。这个千万不能少了，不然主备模式就不能生效。

使配置生效：

​ 查看状态： rs.status()

分片： 分片（sharding）是指将数据库拆分，将其分散在不同的机器上的过程。将数据分散到不同的机器上，不需要功能强大的服务器就可以存储更多的数据和处理更大的负载。基本思想就是将集合切成小块，这些块分散到若干片里，每个片只负责总数据的一部分，最后通过一个均衡器来对各个分片进行均衡（数据迁移）。通过一个名为mongos的路由进程进行操作，mongos知道数据和片的对应关系（通过配置服务器）。

均衡器：负责数据迁移，周期性的检查分片是否存在不均衡，如果不存在则会开始块的迁移，config.locks集合里的state表示均衡器是否找正在运行，0表示非活动状态，2表示正在均衡。均衡迁移数据的过程会增加系统的负载：目标分片必须查询源分片的所有文档，将文档插入目标分片中，再清除源分片的数据。可以关闭均衡器（不建议）：关闭会导致各分片数据分布不均衡，磁盘空间得不到有效的利用。

注：三台服务器都需搭建（参照服务器分配表）

使用任意一台服务器，连接 MongoDB

设置config 变量

初始化副本集

查询状态

搭建分片集群

注：三台服务器配置相同，注意：端口号、副本集名称、目录路经！！！！

配置文件

配置文件内容

启动shard服务（注：shard1、shard2、shard3都要启动）

初始化副本集

登录任意一台服务器，连接MongoDB（注：三个端口27001、27002、27003都要做！！）

配置路由服务器mongos

配置文件

文件内容

启动mongos服务（注：启动顺序为配置服务器，分片服务器，路由服务器，三台服务器全部启动）

串联路由服务器

目前搭建了mongodb配置服务器、路由服务器，各个分片服务器，应用程序连接到mongos路由服务器还不能使用分片机制（各个分片还处于相互独立阶段），需要在程序里设置分片配置，让分片生效。

登录任意一台路由服务器

使用admin数据库

串联路由服务器与分配副本集

查看集群状态（注：sh代表分片集群，rs代表副本集）

结果大致如图

启用集合分片生效

登录任意一台路由服务器

使用admin数据库

指定数据库分片生效（注：此时我们的数据库为空，需要建立一个测试库）

指定数据库分片集合和片键（注： id字段是片键。片键的选择：利于分块、分散写请求、查询数据。）

注：片键有两种分片方式，1.哈希分片，2.远程分片；哈希分片依靠哈希值分片，远程分片基于范围分片（默认此方式）

测试分片结果

连接任意一台mongos路由服务器

切换到test数据库

插入测试数据

将文件发送到其他两个服务器

配置修改

修改config.conf文件

修改shard.conf文件（注：有三个服务器的，总计九个文件）

修改mongos.conf文件