Filebeat（Beats）详细介绍与使用

Beats 是开源数据传送器，将其作为代理安装在服务器上，以将操作数据发送到 Elasticsearch。

Elastic提供Beats用于捕获：

审核数据：Auditbeat

日志文件和日志：Filebeat

云数据：Functionbeat

可用性：Heartbeat

指标：Metricbeat

网络流量：Packetbeat

Windows 事件日志：Winlogbeat

Beats 可以将数据直接发送到 Elasticsearch 或通过 Logstash，可以在其中进行进一步处理并增强数据，然后在 Kibana 中可视化数据。

Beats 配置文件基于 YAML，这是一种 比其他常见的数据格式（如 XML 或 JSON）更易于读取和写入。 配置文件必须用 UTF-8 编码。

在 beats 中，所有 YAML 文件都以字典开头，字典是名称/值对。

除了字典，YAML 还支持列表、数字、字符串和许多其他数据类型。

同一列表或字典的所有成员必须具有相同的缩进级别。

字典由简单对表示，所有对都具有相同的缩进级别。后面的冒号后面必须跟一个空格。key: value key

列表由破折号“-”引入。所有列表成员都将以行开头与“-”处于相同的缩进级别。

Beats 中使用列表和词典来构建结构化配置。

列表和词典也可以用缩写形式表示。缩写 form 有点类似于用于字典和列表的 JSON：{} []

所有设置都使用字典和列表进行结构化。读取配置文件时，通过使用设置名称的完整路径及其父结构名称创建设置，这些设置被折叠为“命名空间”设置。 例如：

折叠成：output.elasticsearch.index: 'beat-%{[agent.version]}-%{+yyyy.MM.dd}'（设置的全名基于所有涉及的父结构）

列表创建从0开头的数字名称。 例如，此 filebeat 设置：

折叠成：filebeat.inputs.0.type: log

具有部分折叠设置名称和使用紧凑形式的简单 filebeat 示例：

配置设置的值按照Beats的要求进行解释。如果一个值不能正确解释为所需的类型 - 例如，当需要数字时给定了一个字符串 - 则Beat将无法启动。 布尔值可以是true或false。true的替代名称是on和yes，而false的替代名称是off和no。

数字值要求输入要使用的数字，不使用单引号或双引号。但是，一些设置仅支持受限数字范围。

字符串

在YAML中，支持多种字符串定义样式：双引号样式、单引号样式和无引号样式。

双引号样式使用双引号括起字符串。这种样式支持使用\转义不可打印字符，但需要注意要转义双引号和反斜杠字符。

单引号样式使用单引号括起字符串。这种样式不支持转义，只能使用可打印字符。

无引号样式不需要引号，但不支持任何转义，同时需要注意不要使用在YAML中具有特殊含义的符号。

持续时间需要一个数值，可选的小数部分和必需的单位。有效的时间单位有ns、us、ms、s、m、h。有时基于持续时间的功能可以通过使用零或负持续时间来禁用。

正则表达式是特殊字符串，在加载时编译为正则表达式。

由于正则表达式和YAML在字符串中使用\转义字符，因此建议在定义正则表达式时使用单引号字符串。使用单引号字符串时，YAML解析器不会将字符\解释为转义符。

格式字符串（sprintf）允许引用事件字段值，根据当前正在处理的事件创建字符串。

变量扩展包含在扩展括号中。

事件字段使用字段引用来访问。

可以在事件字段缺失时指定可选的默认值。format_string: '%{[field]}'

还可以使用格式将字段中存储的时间进行格式化。time_format: '@timestamp+FORMAT'

可以在配置文件中使用环境变量引用来设置需要在部署期间进行配置的值。

${VAR}是环境变量的名称。

替换是大小写敏感的，并且发生在解析YAML文件之前。

对未定义变量的引用将被替换为空字符串，除非指定了默认值或自定义错误文本。

示例：以下是一些使用环境变量的配置示例以及替换后的每个配置的样子

指定环境变量中的复杂对象编辑

可以使用类似 JSON 的语法在环境变量中指定复杂对象，如列表或字典。

与JSON一样，使用{}和[]构造字典和列表。

但与JSON不同，该语法允许尾部逗号和略有不同的字符串引号规则。

字符串可以是无引号、单引号或双引号，这是为了方便设置简单设置，并能够在shell中混合引号使用。

顶层的数组不需要括号()。

例如，以下环境变量设置为列表：

可以在配置文件中引用此变量：

当Beat加载配置文件时，它会解析环境变量并在读取设置之前将其替换为指定的列表。

Beats 设置可以引用其他设置，将多个可选的自定义命名设置拼接成新值。

引用使用与环境变量相同的语法。

只有完全折叠的设置名称才能被引用。

例如，Filebeat的注册文件默认为：

其中path.data是一个隐式配置设置，可以从命令行中覆盖，也可以在配置文件中覆盖。

在这个例子中，es.host可以从命令行使用-E参数覆盖，例如：

普通引用，没有默认值且不与其他引用或字符串拼接的引用可以引用完整的命名空间。 对于具有重复内容的这些设置：

可以重写为：

使用普通引用。

（这一部分不适用于Windows或其他非POSIX操作系统）

在具有POSIX文件权限的系统上，所有Beats配置文件都受到所有权和文件权限检查的限制。

这些检查的目的是防止未经授权的用户提供或修改由Beat运行的配置。

配置文件的所有者必须是执行Beat进程的用户之一。

每个文件的权限必须禁止除所有者之外的其他人写入。

当通过RPM或DEB包安装时，配置文件位于/etc/{beatname}/{beatname}.yml，其所有者和权限将是正确的。

如果配置文件未通过这些检查，则可能会遇到以下错误：

要纠正这个问题，可以使用chown命令改变配置文件的所有者：

或者

如果权限不正确，可能会遇到以下错误：

要纠正这个问题，使用chmod命令将除所有者之外的其他人的写权限删除：

其他配置文件，比如目录中的文件modules.d，也受到相同的所有权和文件权限检查。

禁用严格权限检查编辑，可以通过命令行使用--strict.perms=false来禁用严格权限检查，但强烈建议保持这些检查启用状态。

通过命令行使用-c标志设置要加载的配置文件。

如果没有给出标志，将假定为 Beat 和特定于操作系统的默认文件路径。

可以通过重复使用-c标志来指定多个配置文件。

除了使用多个配置文件覆盖设置之外，还可以使用-E来覆盖单个设置。

可以是单个值，也可以是复杂对象，例如列表或字典。

例如，给定以下配置：

可以通过设置来禁用 Elasticsearch 输出，并将所有事件写入控制台：

在命令行指定的任何复杂对象都将与原始配置合并，然后传递给 Beat 的配置如下所示：

在配置文件中使用YAML时的一些技巧和注意事项：

使用空格进行缩进： YAML 中的缩进是有意义的。确保使用空格而不是制表符来缩进段落。在默认配置文件和文档中的所有示例中，我们每级缩进使用 2 个空格。建议也这样做。

查看默认配置文件结构： 理解在哪里定义配置选项的最佳方式是查看提供的示例配置文件。这些配置文件包含了 Beat 可用的大部分默认配置。要更改设置，只需取消注释该行并更改值即可。

测试的配置文件： 可以测试配置文件以验证其结构是否有效。只需切换到二进制文件所在的目录，并使用指定的命令在前台运行 Beat。例如：

如果 Beat 在文件中发现错误，将会看到一条消息。

使用单引号包裹正则表达式： 如果需要在 YAML 文件中指定正则表达式，最好将其用单引号包裹起来，以避免 YAML 中复杂的字符串转义规则。

使用单引号包裹路径： 特别是 Windows 路径可能包含空格或字符（如驱动器号或三个点），这些可能会被 YAML 解析器错误地解释。为了避免这个问题，最好将路径用单引号包裹起来。

避免在数字值中使用前导零： 如果在数字字段中使用前导零（例如，09），且没有将值用单引号包裹起来，YAML 解析器可能会错误地解释该值。为了防止不必要的类型转换，避免在字段值中使用前导零，或者将值用单引号包裹起来。

避免意外的模板变量解析： 允许配置从环境变量中解析数据的模板引擎可能会导致字符串中的某些字符出现错误。例如，如果密码字段包含 $，引擎会将其解析为 $$。为了解决这个问题，要么使用 keystore，要么将所有出现的 $ 进行转义，变为 $$。

Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引Filebeat隶属于Beats。

Filebeat 作为代理安装在的服务器上，可监控日志指定的文件或位置，收集日志事件并转发它们使用 Elasticsearch 或 Logstash 进行索引。

Filebeat 的工作原理如下：当启动 Filebeat 时，它会启动一个或在为日志数据指定的位置中查看更多输入。为 Filebeat 找到的每个日志，Filebeat 都会启动一个收割器。每 Harvester 读取单个日志以获取新内容，并将新日志数据发送到 libbeat，聚合事件并将聚合数据发送到输出 已为 Filebeat 配置。

Filebeat用于收集各种日志，之后发送到指定的目标系统上，但是同一时间只能配置一个输出目标。

Filebeat 会对配置好的日志内容进行收集，第一次会从每个文件的开头一直读到当前文件的最后一行。

每一行称为一个事件，格式是一个包含很多字段的大字典，也就是 JSON 格式的数据。在 Filebeat中负责完成这个动作的官方称它为 Harvester (收割机)。

每个事件将来会被保存到 Elasticsearch 中

在收割机读到文件的最后，会停止工作。直到文件有新的内容写入才继续工作。

Filebeat启动管理

1、前台运行

2、后台运行

使用nohup方式启动Filebeat到后台，日志结果可查看nohup.out文件

使用systemd管理的后台方式启动Filebeat进程不能查看输出日志，测试阶段勿用

配置systemd方式的Filebeat启动管理文件

配置Filebeat 的输入和输出

运行观察输出

可使用 -c 指定配置文件位置

./filebeat -c /usr/local/filebeat/filebeat.yml

Filebeat进程日志

filebeat本身运行日志默认位置 /usr/local/filebeat/logs/filebeat

要修改Filebeat的日志路径，可以添加如下内容在配置文件 filebeat.yml 中实现

这样设置后，filebeat 启动后，日志的目录是 /var/log/, 日志的文件名为 filebeat ,每次启动或者重启程序会生成一个新的日志文件 filebeat, 旧的日志命名为 filebeat.1 依次类推。

有时候出于实验目的，可能需要重新读取日志文件，这个时候需要删除安装目录下的 data 文件夹，重新运行 filebeat 即可。 假如出现如下报错，请删除安装目录中的 data 文件夹

查看一下是否有一个进程已经处于运行状态，尝试杀死此进程，之后重新运行 filebeat

Filebeat 是用于收集日志，之后把日志推送到某个接收的系统中的，这些系统或者装置在 Filebeat 中称为output。

output类型:

完整output列表

filebeat 运行的时候，以上的 output 只可配置其中的一种。

具体配置方式是编辑主配置文件：/usr/local/filebeat/filebeat.yml

注意：注释掉其他的 output

输出到 console，输出完整 JSON 数据

进入到 filebeat 的安装目录下，执行命令前台运行

如果只想输出完整Json数据中的某些字段

其他输出目标：

输出到 elasticsearch

更多关于 Elasticsearch 的配置参考官方文档

输出到 logstash

例如：path reload filebeat.config.inputs filebeat.config.modules

path：一个 Glob，用于定义要检查更改的文件 reload.enabled：设置为 true 时，启用动态配置重新加载 reload.period：指定检查文件更改的频率。不要设置为小于 1s，因为文件的修改时间通常为以秒为单位存储。设置为小于1将导致 不必要的开销。

官方完整的模块列表：点我查看目前支持的所有模块列表

Filebeat 模块简化了常见日志格式 一个典型的模块（例如，用于 Nginx 日志）由一个或更多文件集，一个文件集包含以下：access error

Filebeat 会根据的环境自动调整这些配置 并将它们加载到相应的 Elastic Stack 组件中。 如果模块配置更新，Elasticsearch摄取管道定义不会自动重新加载。要重新加载摄取管道，请设置并手动加载摄取管道。filebeat.overwrite_pipelines: true

模块配置文件存储位置

禁用模块

启用模块

准备 Nginx 示例日志

启用 nginx 模块

情景1：使用模块默认的日志路径

修改 modules.d/nginx.yml 文件内容如下：

nginx 模块收集日志的默认路径是：

情景2：使用非默认路径（适用于所有的模块）

假如所要收集的日志真实路径和日志收集模块默认的路径不一致，可以配置 var.paths: 属性进行配置。

var.paths 接收的值是一个包含一个以上的日志绝对路径列表。接收的值是一个数组

用于给日志文件设置自定义路径的。如果不设置此选项，Filebeat将根据的操作系统选择路径选择使用默认值

可以使用如下方式配置：

或者下面的方式：

**注意：**var.paths 指定的路径，是以追加的方式和模块默认路径合并到一起的，也就是说假如模块的默认路径有具体的日志文件/var/log/nginx/access.log。 这里 var.paths 也配置了路径/opt/nginx/log/nginx/access.log和/opt/nginx/log/nginx/error.log，那么最终 Filebeat 收集的日志路径将会是：

可以在配置中定义处理器，以便在事件发送到配置的输出之前对其进行处理。libbeat库提供以下处理器：

工作方式：每个处理器都接收一个事件，对该事件应用已定义的操作，然后返回该事件。如果定义处理器列表，则将按照在Filebeat配置文件中定义的顺序执行它们。

去重日志中的某些行：配置位置在 filebeat.yml 文件中

删除所有以 DBG: 开头的行

向输出的数据中添加某些自定义字段

输出效果如下图所示： 从事件中删除某些字段

以上配置，将删除字段: field1 和 field2

ignore_missing 的值为 false 表示，字段名不存在则会返回错误。为 true 不会返回错误。

注意： 事件中的 "@timestamp 和 type 字段是无法删除的。

下面的配置示例是删除顶级字段 input 和 顶级字段 ecs 中的 version 字段。

删除之前⬇️

删除之后⬇️

官方完整的处理器列表：点我查看目前支持的所有处理器列表