1.1.5.1. Fluentd(td-agent)をインストールする

  1. 以下のコマンドを実行してFluentdをインストールします。
    ※インターネット接続可能な環境で実行してください。
    # curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent4.sh | sh
    
  2. 以下のコマンドを実行し、Fluentd(td-agent)のバージョンが表示されることを確認します。
    # td-agent --version
    

1.1.5.2. 設定ファイルを編集する

  1. 以下のコマンドを実行し、設定ファイルを編集します。
    ※記載のない行は、初期値のままとします。
    # vi /usr/lib/systemd/system/td-agent.service
    [Service]
    User=root
    Group=root
    
  2. 以下のコマンドを実行します。
    ※エラーが表示されないことを確認してください。
    # systemctl daemon-reload
    
  3. 以下のコマンドを実行し、設定ファイルを編集します。
    # vi /etc/td-agent/td-agent.conf
    <system>
     root_dir "/var/log/td-agent"
    </system>
    
    <source>
     @type tail
     path /var/log/tmp/superocn/ocn-traffic-bps-trend.log
     pos_file /var/log/td-agent/tmp/ocn-traffic-bps-trend.log.pos
     tag superocn.log
     read_from_head true
     <parse>
      @type json
     </parse>
    </source>
    <source>
     @type tail
     path /var/log/tmp/fic/fic.log
     pos_file /var/log/td-agent/tmp/fic.log.pos
     tag fic.log
     read_from_head true
     <parse>
      @type json
     </parse>
    </source>
    
    <filter superocn.log>
     @type record_transformer
     enable_ruby true
     <record>
      log-source "SuperOCNFlexibleConnect"
      log-time ${time.strftime('%Y-%m-%d %H:%M:%S')}
     </record>
    </filter>
    
    <filter fic.log>
     @type record_transformer
     enable_ruby true
     <record>
      log-source "FlexibleInterConnect"
      log-time ${time.strftime('%Y-%m-%d %H:%M:%S')}
     </record>
    </filter>
    
    <match *.log>
     @id sdpf
     path sdpf/sdpflog.%{file_extension}
     @include /etc/td-agent/wasabi.conf
    </match>
    
  4. 以下のコマンドを実行し、設定ファイルを編集します。
    # vi /etc/td-agent/wasabi.conf
    @type s3
    aws_key_id [Wasabiユーザーのアクセスキー]
    aws_sec_key [Wasabiユーザーのシークレットキー]
    s3_endpoint https://s3.ap-northeast-1-ntt.wasabisys.com
    s3_bucket sdpftestbed-log-backup
    store_as gzip
    time_slice_format %Y%m%d
    <buffer tag,time>
     @type file
     timekey       1d       # 1day
     timekey_wait 10m       # 10mins deley for flush
     timekey_use_utc false  # local
    </buffer>
    <format>
     @type json
    </format>
    
  5. 以下のコマンドを実行し、エラーが表示されないことおよびサービスの状態が「active(running)」であることを確認します。
    # systemctl enable td-agent.service
    # systemctl start td-agent.service
    # systemctl status td-agent.service