Fluentd
- Fluentd là một ứng dụng open-source giúp bạn có thể lấy được log ở web server và xử lý log data đó. Dữ liệu log lấy đươc rất có thể từ nginx, apache hoặc đơn giản là từ các gói tin tcp hay các message của http. Phần xử lý dữ liệu ao gồm như lưu lên S3, lưu vào MongoDB, Redis hay đơn giản là chạy file ruby để xử lý dữ liệu đó. Trang chủ về Fluentd: http://www.fluentd.org/
- Fluentd đóng vai trò như một vùng đệm, khi log được gửi đến nhiều, đầy sẽ tự push. Điều này giảm tải kết nối đến database.
- Ví dụ dưới đây mình dùng WSL + ruby-gem + build-essential package + fluent-plugin-mongo
Prerequisites
- Java >= 7
- Ruby >= 2.4
- WSL
Install build-essential package (for WSL)
$ sudo apt install build-essential
Install by Ruby Gem
$ sudo gem install fluentd --no-doc
Thiết lập và kiểm tra Fluentd
$ fluentd --setup ./fluent
$ fluentd -c ./fluent/fluent.conf -vv &
$ echo '{"json":"message"}' | fluent-cat debug.test
Để tắt deamon, thực hiện:
$ pkill -f fluentd
Install fluent-plugin-mongo
$ fluent-gem install fluent-plugin-mongo
Config fluent-mongo.conf
<source>
@type forward
port 24224
</source>
<match mongo.**>
# plugin type
@type mongo
# mongodb db + collection
database fluent_test
collection user
# mongodb host + port
host localhost
port 27017
</match>
Start lại với đường dẫn file config
Thêm dữ liệu từ Java Application
Tham khảo
https://docs.fluentd.org/language-bindings/javahttps://docs.fluentd.org/installation/install-by-gemhttps://github.com/yohei1126/fluentd-mongodb-java-samplehttps://hicubex2k.wordpress.com/2016/11/03/tim-hieu-ve-fluentd/
Nguồn: viblo.asia