网站搜索

通过 Fluentbit 将日志从 Droplet 转发到 OpenSearch

介绍

管理系统日志对于维护性能、解决问题和了解系统行为至关重要。系统日志通常存储在 /var/log 中，提供有关服务器运行情况的宝贵见解。本教程将指导您在 Droplet 上安装 Fluent Bit，将其配置为从 /var/log 收集系统日志，并将其发送到 DigitalOcean 的 Managed OpenSearch 进行全面分析。

先决条件

在开始之前，请确保您具备以下条件：

  1. 数字海洋水滴。要创建新的 Droplet，请参阅此处的文档。
  2. 托管 Openseach 集群。

第 1 步 - 安装 Fluent Bit

Fluent Bit 是一个开源的轻量级日志处理器和转发器。它旨在从各种来源收集数据和日志，对其进行处理或转换，然后将其转发到不同的目的地。

Fluent Bit 可以安装在多个平台上。要将其安装在 Ubuntu/Debian/Redhat/CentOS 上，请在 Droplet 终端上运行以下命令：

curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

有关 Fluentbit 安装的更多信息，请参阅 https://docs.fluencebit.io/manual/installation/linux/ubuntu。

步骤 2 - 配置 FluentBit 将日志发送到 OpenSearch

默认情况下，Fluent Bit 配置文件位于 /etc/fluent-bit/ 中。要将日志转发到 OpenSearch，您需要修改 Fluent-bit.conf 文件。

流畅的位输入

Fluent Bit 提供了各种输入插件，使其能够从不同来源收集日志和事件数据。由于我们将从日志文件发送日志，因此我们将使用 tail 输入插件。

更新 Fluent-bit.conf 文件，如下所示：

[INPUT]
    name tail
    Path /var/log/auth.log,/var/log/syslog,/var/log/journal/*.log

将 Path 更改为所需的日志路径。有关输入插件的更多信息，请参阅 https://docs. Fluentbit.io/manual/pipeline/inputs。

流畅的位输出

与输入插件类似，Fluentbit 提供了一个输出插件，可将收集和处理的日志发送到不同的目的地。由于我们要将日志发送到 OpenSearch，因此我们要使用 OpenSearch 输出插件。

[OUTPUT]
    Name  opensearch
    Match *
    Host <OpenSearch_Host>
    port 25060
    HTTP_User doadmin 
    HTTP_Passwd <OpenSearch_Password> 
    Index ubuntu
    tls On
    Suppress_Type_Name On

将 替换为您的 OpenSearch 服务器的主机名，并将 替换为您的 OpenSearch 密码。

配置完成后，通过执行以下命令启动 Fluent Bit 服务：

systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service

故障排除

检查连接性

您可以通过测试连接来验证 Logstash 是否可以连接到 OpenSearch：

curl -u your_username:your_password -X GET "https://your-opensearch-server:25060/_cat/indices?v"

在此命令中，将 your-OpenSearch-server 替换为您的 OpenSearch 服务器的主机名，将 your_username 替换为 your_password 替换为您的 OpenSearch 凭据。

数据摄取

确保数据在 OpenSearch 中正确索引：

curl -u your_username:your_password -X GET "http://your-opensearch-server:25060/<your-index-name>/_search?pretty"

将 your-OpenSearch-server 替换为您的 OpenSearch 服务器的主机名，将 your_username 和 your_password 替换为您的 OpenSearch 凭据，并将 your-index-name 替换 与索引名称。

防火墙和网络配置

确保防火墙规则和网络设置允许端口上 Logstash 和 OpenSearch 之间的流量

检查 Fluent 位日志

默认情况下，日志写入系统日志。

sudo journalctl -u fluent-bit

验证配置

确保配置文件语法正确。

/opt/fluent-bit/bin/fluent-bit -c /etc/fluent-bit/fluent-bit.conf --dry-run

结论

在本教程中，我们介绍了设置 Fluent Bit 来管理系统日志的基本步骤，包括安装、配置以及将日志转发到 DigitalOcean 的 Managed OpenSearch。

回顾一下我们所做的事情：

安装：我们使用简单的curl命令在Droplet上安装了Fluent Bit。

配置：我们将 Fluent Bit 配置为使用 tail 输入插件从 /var/log 收集系统日志，并使用 OpenSearch 输出插件将它们发送到 OpenSearch。

服务管理：我们启用并启动了Fluent Bit服务，以保证日志的持续收集和转发。

故障排除：我们解决了常见的故障排除步骤，包括验证连接、检查数据摄取和查看 Fluent Bit 日志。

完成这些步骤后，Fluent Bit 将有效收集您的系统日志并将其转发到 OpenSearch，使您能够利用强大的搜索和分析工具来深入了解服务器的性能和行为。

相关文章: