개발 여행자, 현

Springboot + Kafka 연동하기 (기본세팅) 1. https://start.spring.io 를 통해 스프링부트 프로젝트 생성 2. application.yml 파일 수정 spring.kafka.consumer bootstrap-servers : Kafka 클러스터에 대한 초기 연결에 사용할 호스트:포트쌍의 쉼표로 구분된 목록 : 글로벌 설정이 있어도, consumer.bootstrap-servers가 존재하면 consuemer 전용으로 오버라이딩 group-id : Consumer는 Consumer Group이 존재하기 때문에, 유일하게 식별 가능한 Consumer Group을 작성 auto-offset-reset : Kafka 서버에 초기 offset이 없거나, 서버에 현재 offset이 ..

[Kafka] 카프카란? : 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 오픈 소스 분산 이벤트 스트리밍 플랫폼https://kafka.apache.org/ 장점 - 프로듀서/컨슈머 분리 - 메시지 데이터를 여러 컨슈머에게 허용 - 높은 처리량을 위한 메시지 최적화 - 스케일 아웃 가능 - 관련 생태계 제공 카프카 클러스터 : 메시지를 저장하는 저장소 - 하나의 클러스터는 여러개의 브로커로 구성 - 브로커는 각각의 서버 - 카프카 클러스터를 관리하는 용도로 주키퍼 클러스터가 필요. 카프카 클러스터에 대한 정보를 갖고있음 Producer : 메시지(event)를 발행하여 생산(Write)하는 주체 - 메시지를 카프카에서 읽어오는 것을 컨슈머라고 함. - 카프..