Fluent Package LTS - Daijiro Fukuda

Fluent Package LTS
株式会社クリアコード
2023-09-26
Fluent Package LTS
Powered by Rabbit 3.0.1

株式会社クリアコード
自由ソフトウェアとビジネス
を両立！
Fluent Package LTS
Powered by Rabbit 3.0.1

クリアコードとFluentd
✓ Fluentdメンテナー3名在籍
2021年からコミュニティの中心となって開発に参加！
✓ Fluentdのサポートサービスを提供
https://www.clear-code.com/services/fluentd-service.html
導入・アップデート支援、機能追加、障害対応...
Fluent Package LTS
Powered by Rabbit 3.0.1

Fluentdメンテナー3名在籍
https://github.com/fluent/fluentd/graphs/contributors?
from=2021-01-01&to=2023-09-26&type=c
Fluent Package LTS
Powered by Rabbit 3.0.1

本資料のトピック
✓ Fluent Package LTSとは
✓ LTSへの移行
✓ 主な変更点
✓ LTS向けサポートサービス
Fluent Package LTS
Powered by Rabbit 3.0.1

Fluent Package LTS
✓ 2023年8月にv5としてリリース
✓ td-agent v4の後継パッケージ
✓ 長期の安定運用におすすめ
✓ セキュリティー、バグフィックスのみ
✓ サポート期間を事前アナウンス
Fluent Package LTS
Powered by Rabbit 3.0.1

td-agent
✓ 元々は Treasure Data 主体
✓ 現在はコミュニティ主体
Fluent Package LTS
Powered by Rabbit 3.0.1

Fluent Package
✓ コミュニティ主体であることを
パッケージ名に反映！
Fluent Package LTS
Powered by Rabbit 3.0.1

LTS版と通常版との違い
サポート期間
LTS版長期、事前アナウンス
(およそ2年ごと)
通常版不定期
(td-agent相当)
Fluent Package LTS
Powered by Rabbit 3.0.1

リリースサイクル
https://www.fluentd.org/blog/fluent-package-scheduled-lifecycle
Fluent Package LTS
Powered by Rabbit 3.0.1

LTS版へ移行するメリット
✓ 長期間に渡り安心してアップデート可能！
✓ メジャーアップデートを計画的に準備可
能！
Fluent Package LTS
Powered by Rabbit 3.0.1

移行方法
(from td-agent v4)
✓ 基本的には通常のインストール方法でアッ
プデート可能！
✓ 場合によってはマイグレート作業が必要
Fluent Package LTS
Powered by Rabbit 3.0.1

$アップデート: Linux ✓ 例: Red Hat / CentOS $ curl -fsSL \ https://toolbelt.treasuredata.com/sh/install-redhat-fluent-package5-lts.sh | sh ✓ RPM Package https://docs.fluentd.org/installation/install-by-rpm ✓ DEB Package https://docs.fluentd.org/installation/install-by-deb Fluent Package LTS Powered by Rabbit 3.0.1$ アップデート: Windows
Fluent Package LTS
Powered by Rabbit 3.0.1

アップデート: Windows
Fluent Package LTS
Powered by Rabbit 3.0.1

手動マイグレート
場合によっては手動のマイグレート作業が必要
✓ 一般のケース
✓ Linuxのケース
✓ Windowsのケース
Fluent Package LTS
Powered by Rabbit 3.0.1

手動マイグレート
一般
✓ 手動インストールしているプラグインがあ
る
=> プラグインの再インストール
✓ Fluentdのログファイルを監視している
=> ログファイルのパスの更新
Fluent Package LTS
Powered by Rabbit 3.0.1

プラグインの再インストール
✓ アップデート前に
プラグインリストを確認
$ td-agent-gem list | grep fluent-plugin*
fluent-plugin-calyptia-monitoring (0.1.3)
fluent-plugin-elasticsearch (5.3.0)
fluent-plugin-flowcounter-simple (0.1.0)
.
.
.
Fluent Package LTS
Powered by Rabbit 3.0.1

プラグインの再インストール
✓ アップデート後に
プラグインリストを確認
$ fluent-gem list | grep fluent-plugin*
fluent-plugin-calyptia-monitoring (0.1.3)
fluent-plugin-elasticsearch (5.3.0)
fluent-plugin-flowcounter-simple (0.1.0)
.
.
.
Fluent Package LTS
Powered by Rabbit 3.0.1

プラグインの再インストール
✓ 必要なプラグインをインストール
$ sudo fluent-gem install fluent-plugin-...
Fluent Package LTS
Powered by Rabbit 3.0.1

ログファイルのパスの更新
✓ Linux
/var/log/td-agent/td-agent.log
⇩
/var/log/fluent/fluentd.log
Fluent Package LTS
Powered by Rabbit 3.0.1

ログファイルのパスの更新
✓ Windows
(インストールディレクトリ)/td-agent/td-agent.log
⇩
(インストールディレクトリ)/fluent/fluentd.log
Fluent Package LTS
Powered by Rabbit 3.0.1

手動マイグレート
Linux
次をカスタマイズしている場合
✓ 環境変数設定ファイル
✓ ローテート設定ファイル
✓ ユニットファイル
Fluent Package LTS
Powered by Rabbit 3.0.1

環境変数設定ファイル
✓ RHEL系
/etc/sysconfig/td-agent
⇩
/etc/sysconfig/fluentd
Fluent Package LTS
Powered by Rabbit 3.0.1

環境変数設定ファイル
✓ Debian系
/etc/default/td-agent
⇩
/etc/default/fluentd
Fluent Package LTS
Powered by Rabbit 3.0.1

ローテート設定ファイル
/etc/logrotate.d/td-agent
⇩
/etc/logrotate.d/fluentd
Fluent Package LTS
Powered by Rabbit 3.0.1

カスタムユニットファイル
✓ パッケージのパス構成が変化
例: /opt/td-agent/ => /opt/fluent/
✓ カスタムユニットファイルの更新が必要
（もし使っていれば）
例: /etc/systemd/system/td-agent.service
Fluent Package LTS
Powered by Rabbit 3.0.1

手動マイグレート
Windows
✓ サービス起動時コマンド引数をカスタマイ
ズしている場合
例: ログローテート関連の引数を追加
Fluent Package LTS
Powered by Rabbit 3.0.1

$サービス起動時コマンド引数 ✓ アップデート前に確認 $ REG QUERY HKLM\System\CurrentControlSet\Services\fluentdwinsvc ✓ fluentdoptの値を確認 Fluent Package LTS Powered by Rabbit 3.0.1$ サービス起動時コマンド引数
Fluent Package LTS
Powered by Rabbit 3.0.1

サービス起動時コマンド引数
Fluent Package LTS
Powered by Rabbit 3.0.1

サービス起動時コマンド引数
マイグレーション
✓ アップデート後はデフォルト値になる
✓ カスタマイズしていた場合は再設定が必要
Fluent Package LTS
Powered by Rabbit 3.0.1

サービス起動時コマンド引数
マイグレーション
管理者権限のFluent Package Command Prompt
$ fluentd --reg-winsvc-fluentdopt "(引数全体)"
Fluent Package LTS
Powered by Rabbit 3.0.1

サービス起動時コマンド引数
ログローテート設定
✓ ログローテートはsystem設定を推奨
✓ --log-rotate-age
✓ --log-rotate-size
td-agent v4.4.2以降はsystem設定で設定可能
Fluent Package LTS
Powered by Rabbit 3.0.1

$サービス起動時コマンド引数補足: デフォルト値の変化 ✓ 設定ファイルパス -c オプション -c (インストールディレクトリ)\td-agent\etc\td-agent\td-agent.conf ⇩ -c (インストールディレクトリ)\fluent\etc\fluent\fluentd.conf ※ 旧設定ファイルは自動で新しいパスに移動 Fluent Package LTS Powered by Rabbit 3.0.1$ $サービス起動時コマンド引数補足: デフォルト値の変化 ✓ ログファイルパス -o オプション -o (インストールディレクトリ)\td-agent\td-agent.log ⇩ -o (インストールディレクトリ)\fluent\fluentd.log Fluent Package LTS Powered by Rabbit 3.0.1$ 主な
変更点

主な変更点
Fluent Package v5.0.0 および v5.0.1 について
✓ パッケージの変更点
✓ Fluentdの改善点
Fluent Package LTS
Powered by Rabbit 3.0.1

パッケージの変更点
✓ パッケージ名の変更
td-agent => fluent-package
✓ コマンド名の変更
td-agent => fluentd
td-agent-gem => fluent-gem
マイグレート環境では旧名も使用可能
✓ インストールパスの変更
/opt/td-agent/ => /opt/fluent/
Fluent Package LTS
Powered by Rabbit 3.0.1

パッケージの変更点
Linux 1/4
✓ サービス名
td-agent => fluentd
✓ 設定ファイルパス
/etc/td-agent/td-agent.conf => /etc/fluent/fluentd.conf
アップデート時に自動で再配置
Fluent Package LTS
Powered by Rabbit 3.0.1

パッケージの変更点
Linux 2/4
✓ ログファイルパス
/var/log/td-agent/td-agent.log => /var/log/fluent/fluentd.log
✓ ログローテート設定パス
/etc/logrotate.d/td-agent => /etc/logrotate.d/fluentd
Fluent Package LTS
Powered by Rabbit 3.0.1

パッケージの変更点
Linux 3/4
✓ RHEL系
✓ 環境変数設定ファイルパス
/etc/sysconfig/td-agent => /etc/sysconfig/fluentd
✓ ユニットファイルパス
/usr/lib/systemd/system/td-agent.service =>
/usr/lib/systemd/system/fluentd.service
Fluent Package LTS
Powered by Rabbit 3.0.1

パッケージの変更点
Linux 4/4
✓ Debian系
✓ 環境変数設定ファイルパス
/etc/default/td-agent => /etc/default/fluentd
✓ ユニットファイルパス
/lib/systemd/system/td-agent.service =>
/lib/systemd/system/fluentd.service
Fluent Package LTS
Powered by Rabbit 3.0.1

パッケージの変更点
Windows 1/2
✓ コンソール名
Td-agent Command Prompt => Fluent Package Command Prompt
✓ 設定ファイルパス
etc/td-agent/td-agent.conf => etc/fluent/fluentd.conf
アップデート時に自動で再配置
Fluent Package LTS
Powered by Rabbit 3.0.1

パッケージの変更点
Windows 2/2
✓ ログファイルパス
td-agent.log => fluentd.log
✓ FLUENT_PACKAGE_TOPDIR
TD_AGENT_TOPDIRに代わる環境変数
✓ インストール後に自動でサービスが起動し
ないように
Fluent Package LTS
Powered by Rabbit 3.0.1

Fluentdの改善点
✓ in_tailのfollow_inodes機能
✓ Rubyの高速化機能（YJIT）
✓ ignore_same_log_interval
✓ 脆弱性対応
Fluent Package LTS
Powered by Rabbit 3.0.1

in_tail
follow_inodesの動作改善
✓ ローテートファイルも含めて収集対象に指
定できる機能
✓ 「ローテート後にファイルを収集しなくな
る」不具合を改善
https://docs.fluentd.org/input/tail#follow_inodes
Fluent Package LTS
Powered by Rabbit 3.0.1

Rubyの高速化機能（YJIT）
✓ YJITがサポートされている環境で利用可能
Windowsは未サポート
✓ Fluentdではまだ実験段階
https://docs.fluentd.org/deployment/system-config#enable_jit-experimental
Fluent Package LTS
Powered by Rabbit 3.0.1

ignore_same_log_interval
✓ キャッシュが制限なく増加してメモリを圧
迫することがある問題を修正
https://docs.fluentd.org/deployment/logging#ignore_same_log_interval
Fluent Package LTS
Powered by Rabbit 3.0.1

脆弱性対応
✓ CVE-2023-38697
✓ in_monitor_agentプラグインに影響
Fluent Package LTS
Powered by Rabbit 3.0.1

クリアコードの
Fluentdサポートサービス
✓ 導入・アップデート支援、機能追加、障害
対応...
✓ LTS向けのサポートも開始！
Fluent Package LTS
Powered by Rabbit 3.0.1

LTS向けサポートサービス
✓ LTSの導入、アップデート支援
環境をヒアリングし、導入・アップデート手順をサポート
✓ 脆弱性などの更新内容の通知・説明
セキュリティフィックスの内容と影響範囲
バグフィックスの内容と影響範囲
Fluent Package LTS
Powered by Rabbit 3.0.1

お問い合わせ
✓ サポートサービス
https://www.clear-code.com/services/fluentd-service.html
✓ お問い合わせ
https://www.clear-code.com/contact/
お気軽にお問い合わせください！
Fluent Package LTS
Powered by Rabbit 3.0.1