Setup Fluentd và input data MongoDB

Fluentd

• Fluentd là một ứng dụng open-source giúp bạn có thể lấy được log ở web server và xử lý log data đó. Dữ liệu log lấy đươc rất có thể từ nginx, apache hoặc đơn giản là từ các gói tin tcp hay các message của http. Phần xử lý dữ liệu ao gồm như lưu lên S3, lưu vào MongoDB, Redis hay đơn giản là chạy file ruby để xử lý dữ liệu đó. Trang chủ về Fluentd: http://www.fluentd.org/
• Fluentd đóng vai trò như một vùng đệm, khi log được gửi đến nhiều, đầy sẽ tự push. Điều này giảm tải kết nối đến database.
• Ví dụ dưới đây mình dùng WSL + ruby-gem + build-essential package + fluent-plugin-mongo

Prerequisites

• Java >= 7
• Ruby >= 2.4
• WSL

Install build-essential package (for WSL)

$ sudo apt install build-essential

Install by Ruby Gem

$ sudo gem install fluentd --no-doc

Thiết lập và kiểm tra Fluentd

$ fluentd --setup ./fluent
$ fluentd -c ./fluent/fluent.conf -vv &
$ echo '{"json":"message"}' | fluent-cat debug.test

Để tắt deamon, thực hiện:

$ pkill -f fluentd

Install fluent-plugin-mongo

$ fluent-gem install fluent-plugin-mongo

Config fluent-mongo.conf

<source>
  @type forward
  port 24224
</source>
<match mongo.**>
  # plugin type
  @type mongo

  # mongodb db + collection
  database fluent_test
  collection user

  # mongodb host + port
  host localhost
  port 27017
</match>

Start lại với đường dẫn file config

Thêm dữ liệu từ Java Application

Tham khảo

https://docs.fluentd.org/language-bindings/javahttps://docs.fluentd.org/installation/install-by-gemhttps://github.com/yohei1126/fluentd-mongodb-java-samplehttps://hicubex2k.wordpress.com/2016/11/03/tim-hieu-ve-fluentd/