ELK (ElasticSearch , Logstash , Kibana)

Elasticsearch, Logstash dan Kibana adalah tool yang berguna untuk mengumpulkan log dan juga menvisualisasi,Elasticsearch berguna untuk menyimpan semua log yang berasal dari server, Logstash merupakan sebuah perangkat lunak open source untuk mengumpulkan dan memparsing log dan juga membuat index untuk log, kemudian disimpan pada elasticsearch. Kibana adalah web interface yang berguna untuk menampilkan log baik dalam bentuk grafik maupun visualisasi lainnya. untuk file agent di perlukan filebeat yang berguna untuk mengirim log dari setiap server kepada logstash

Log yang tersentralisasi sangat berguna jika suatu saat seorang DevOps akan melakukan identifikasi masalah pada server atau aplikasi. Hal tersebut membuat mereka mampu mencari histori data atau log,

Komponen ELK

Logstash : memproses log dan membuat index log
Elasticsearch : menyimpan semua log
Kibana : Web interface untuk mencari dan memvisualisasikan log baik dalam grafik yang di inginkan
Filebeat : mengirim log ke logstash. Berfungsi sebagai shipping agent untuk log. Menggunakan lumberjack networking protocol untuk berkomunikasi dengan logstash. Filebeat akan dipasang di server yang mempunyai log (yang akan diproses)

Diagram ELK

Setup ELK with Docker

Untuk setup ELK (elasticsearch logstash , kibana) kita menggunakan docker, cara nya adalah

1. clone repo elk docket

$ git clone https://github.com/adisaputra10/elk.git

2. selanjutnya masuk ke dalam folder

$ cd elk

3. selanjutnya kita jalankan perintah docker-compose, docker-compose berguna untuk menjalankan beberapa docker sekaligus, adapun docker ELK terbagi menjadi 3 container (container elasticsearch , container logstash, container kibana). container = docker

$ docker-compose build 
$docker-compose up -d

4. selanjutnya kita cek apakah ELK telah berjalan docker ps -a

Secara default, ports docker seperti di bawah ini:

• 5000: Logstash TCP port
• 9200: Elasticsearch HTTP
• 9300: Elasticsearch TCP transport
• 5601: Kibana

kita dapat mengakses web interface ELK pada port 5601 maka akan muncul seperti di bawah ini

http://adisaputra.id