[ELK] ELK 설치

1. Elastic Search 설치 - v.8.6.0

1) Elastic Search 설치 따라하기
https://gigas-blog.tistory.com/255

-> 엘라스틱 서치 버전이 올라감에 따라 brew로 설치를 진행하면 oepnSearch를 사용하라는 오류가 발생
해결법 : 공식 사이트에서 설치 후 압축해제

- 프로젝트 방향 비슷한 블로그
https://velog.io/@wwlee94/Kafka-ELK를-활용하여-데이터-로그-수집하기-2

- 공식사이트
: https://www.elastic.co/kr/downloads/elasticsearch

Download Elasticsearch

 

2) Elastic Search 실행하기

1. /bin 폴더에서 아래 명령어 입력

$ ./elasticsearch

성공화면

실행이 잘 됐는지 확인하기 위해 아래 명령어 입력

$ curl -u elastic:==~ [https://localhost:9200](https://localhost:9200) -k

// curl -u [user]:[password] [https://localhost:9200](https://localhost:9200) -k
// user의 기본 값은 elasticsearch

 

 하지만 위와 같이 매번 user와 PW를 적는 것은 비효율적이다.

ES의 버전이 업데이트 되면서 http -> https로 바뀌었고, /config/elasticsearch.yml 에 아래와 같은 보안 설정이 추가되었음
다음 false라 기재 되어있는 부분을 똑같이 변경하면 된다.

4) 그 후 http://localhost:9200 직접 접속이 가능하다.

 

---

2. logStash 설치 - v.8.6.0

1) 로그스태시 설치

// logStash 설치
https://www.elastic.co/kr/downloads/logstash

$ brew install logstash

2) .conf 파일 수정

# logstash.conf
input {
  kafka {
    bootstrap_servers => "localhost:9092"
    topics => "kafka-elk-test-log"
  }
}

filter {
 json {
   source => "message"
 }
}

output {
  elasticsearch {
    hosts => "localhost:9200"
    index => "kafka-elk-test-log-%{+YYYY.MM.dd}"
  }
}

- logstash.config 파일
Input으로 kafka에서 데이터를 받아야 되기에 kafka 서버를 입력하였고, topics은 테스트 중인 토픽명을 입력했다.
Output으로는 elasticsearch에 데이터를 적재할 것이기에 es 서버를 입력했다.

 

3) pipeline.yml 수정

- pipeline.id: kafka-test-logs
  path.config: "config/logstash.conf"

4) 실행

$ brew services restart logstash // brew를 이용할시
/Users/nhn/NHN-LogStash/logstash-8.6.0/bin/logstash -f config/logstash.conf // brew 이용안할시

 

 

---

3. kibana 설치

키바나 설치 사이트 : https://www.elastic.co/guide/en/kibana/8.6/targz.html#targz

 

1. 설치 및 압축해제

https://www.elastic.co/kr/downloads/past-releases/kibana-7-2-0

$ tar xvfz kibana-7.12.0-linux-x86_64.tar.gz

 

2) 실행

cd kibana-7.12.0-linux-x86_64/bin/
$ ./kibana

 

xml 파일 수정 했는데도 'cabana is not ready yet' 오류발생하면 버전 문제이므로 아래 사이트에 들어가서 버전호환이 되는지 확인해야한다.

 

 

버전호환표 : https://www.elastic.co/kr/support/matrix#matrix_compatibility

[http://localhost:5601/](http://localhost:5601/)