Install Elasticsearch, Logstash, Kibana 4 ELK Stack on AWS

ELK là một bộ công cụ bao gồm 3 phần mềm: Logstash, elasticsearch,kibana

• Logstash: Đây là một công cụ sử dụng để thu thập, xử lý log được viết bằng java. Nhiệm vụ chính của logstash là thu thập log sau đó chuyển vào Elastichsearch. Mỗi dòng log của logstash được lưu trữ đưới dạng json.

• Elasticsearch: sử dụng cơ sở dữ liệu NoSQL dựa trên nền tảng của Apache Lucene engine. Dùng để lưu trữ dữ liệu và cung cấp interface cho phép truy vấn đến cơ sở dữ liệu.

• Kibana: Đây là giao diện sử dụng dành cho người dùng trên môi trường web. Kibana sẽ sử dụng Elashtichsearch để tìm kiếm các dữ liệu phù hợp với yêu cầu của người dùng.

Install VM instances EC2

Step 1:

Step 2:

Step 3:

Step 4:

Step 5:

Step 6:

Step 7:

Step 8:

Install ELK on AWS

First, connect to AWS by Putty, PuttyGen

Install Elasticsearch 1.7.2

Commands

sudo su

yum update -y

cd /root

wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.2.noarch.rpm

yum install elasticsearch-1.7.2.noarch.rpm -y

rm -f elasticsearch-1.7.2.noarch.rpm

cd /usr/share/elasticsearch/

./bin/plugin -install mobz/elasticsearch-head

./bin/plugin -install lukas-vlcek/bigdesk

./bin/plugin install elasticsearch/elasticsearch-cloud-aws/2.7.1

./bin/plugin --install lmenezes/elasticsearch-kopf/1.5.7

cd /etc/elasticsearch

nano elasticsearch.yml

Config

cluster.name: awstutorialseries

cloud.aws.access_key: 

cloud.aws.secret_key: 

cloud.aws.region: us-east-2

discovery.type: ec2

discovery.ec2.tag.Name: "Elasticsearch" (tên của instance)

http.cors.enabled: true

http.cors.allow-origin: "*"

This should work

sudo service elasticsearch start

This should also work, though the PID file will not be removed

sudo service elasticsearch stop

Crash — permissions error

sudo service elasticsearch restart

But this will work because it doesnt try to remove the PIDFILE

sudo service elasticsearch start

Logstash 1.5.4-1

Commands

sudo su

yum update -y

cd /root

wget https://download.elastic.co/logstash/logstash/packages/centos/logstash-1.5.4-1.noarch.rpm

yum install logstash-1.5.4-1.noarch.rpm -y

rm -f logstash-1.5.4-1.noarch.rpm

nano /etc/logstash/conf.d/logstash.conf

Config

input { file { path => "/tmp/logstash.txt" } } output { elasticsearch { host => "ELASTICSEARCH_URL_HERE" protocol => "http" } }

service logstash start

Kibana 4.1.2

Commands

sudo su

yum update -y

cd /root

wget https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz

tar xzf kibana-4.1.2-linux-x64.tar.gz

rm -f kibana-4.1.2-linux-x64.tar.gz

cd kibana-4.1.2-linux-x64

nano config/kibana.yml

Config

elasticsearch_url: "ELASTICSEARCH_URL_HERE"
nohup ./bin/kibana &

Navigate In Browser

http://KIBANA_URL:5601