개발 여행자, 현

Docker Compose ELK 구축한 과정을 기록한다. 1. Docker-ELK Pull 받기 https://github.com/deviantony/docker-elk git clone https://github.com/deviantony/docker-elk Kafka와 ELK를 각각 Docker compose로 구성하면 Kafka와 LogStash 연동에 문제가 있을 수 있다. Docker network는 default bridge이며, 기본적으로 같은 네트워크로 묶인 컨테이너끼리만 통신이 가능하기 때문이다. docker network connect, 공용 외부 네트워크 생성으로 해결하는 방법도 있었지만 한번에 compose로 구성하는 방향으로 구현하고자 한다. Docker-compose.yml 파..

1. Elastic Search 설치 - v.8.6.0 1) Elastic Search 설치 따라하기 https://gigas-blog.tistory.com/255 -> 엘라스틱 서치 버전이 올라감에 따라 brew로 설치를 진행하면 oepnSearch를 사용하라는 오류가 발생 해결법 : 공식 사이트에서 설치 후 압축해제 - 프로젝트 방향 비슷한 블로그 https://velog.io/@wwlee94/Kafka-ELK를-활용하여-데이터-로그-수집하기-2 - 공식사이트 : https://www.elastic.co/kr/downloads/elasticsearch Download Elasticsearch Download Elasticsearch or the complete Elastic Stack (formerl..

Springboot + Kafka 연동하기 (기본세팅) 1. https://start.spring.io 를 통해 스프링부트 프로젝트 생성 2. application.yml 파일 수정 spring.kafka.consumer bootstrap-servers : Kafka 클러스터에 대한 초기 연결에 사용할 호스트:포트쌍의 쉼표로 구분된 목록 : 글로벌 설정이 있어도, consumer.bootstrap-servers가 존재하면 consuemer 전용으로 오버라이딩 group-id : Consumer는 Consumer Group이 존재하기 때문에, 유일하게 식별 가능한 Consumer Group을 작성 auto-offset-reset : Kafka 서버에 초기 offset이 없거나, 서버에 현재 offset이 ..

[Kafka] 카프카란? : 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 오픈 소스 분산 이벤트 스트리밍 플랫폼https://kafka.apache.org/ 장점 - 프로듀서/컨슈머 분리 - 메시지 데이터를 여러 컨슈머에게 허용 - 높은 처리량을 위한 메시지 최적화 - 스케일 아웃 가능 - 관련 생태계 제공 카프카 클러스터 : 메시지를 저장하는 저장소 - 하나의 클러스터는 여러개의 브로커로 구성 - 브로커는 각각의 서버 - 카프카 클러스터를 관리하는 용도로 주키퍼 클러스터가 필요. 카프카 클러스터에 대한 정보를 갖고있음 Producer : 메시지(event)를 발행하여 생산(Write)하는 주체 - 메시지를 카프카에서 읽어오는 것을 컨슈머라고 함. - 카프..