KAFKA

KAFKA

Kafka 데이터 복제 메커니즘

브로커 한 대가 갑자기 죽었다. 그 브로커에만 있던 메시지는 영영 사라지는가? Kafka는 처음부터 이 상황을 가정하고 설계됐다. 파티션을 여러 브로커에 복제해두고, 리더가 죽으면 팔로워 중 하나가 즉시 리더를...

2026-05-01 5 분 소요

KAFKA

Kafka Producer 내부 동작과 신뢰성 설정

kafkaTemplate.send("orders", event) 한 줄이면 메시지가 전송된다고 생각하기 쉽다. 하지만 이 한 줄 뒤에는 직렬화, 파티셔닝, 배치 누적, 압축, 재시도, ACK 확인까지 수십 가지...

2026-05-01 6 분 소요

KAFKA

Kafka Outbox 패턴과 CDC 활용

주문이 DB에 저장됐는데 Kafka 발행이 실패했다. 결제 서비스는 주문을 모른다. 반대로 Kafka 발행은 됐는데 DB 롤백이 됐다. 결제 서비스는 존재하지 않는 주문을 처리한다. 분산 트랜잭션 없이 이 문제...

2026-05-01 6 분 소요

KAFKA

Kafka 내부 동작 원리 — Producer부터 트랜잭션까지

초당 100만 건의 주문 이벤트가 쏟아지는 쇼핑몰을 상상해보자. producer.send(record)를 호출할 때마다 네트워크 요청이 한 번씩 나간다면 시스템은 버티지 못한다. Kafka Producer는 내...

2026-05-01 11 분 소요

KAFKA

Kafka 핵심 개념 정리

서비스가 성장하면서 주문, 결제, 배달, 통계, 알림 시스템이 서로 직접 API를 호출한다. 하나가 느려지면 전체가 느려지고, 하나가 죽으면 연쇄 장애가 난다. Kafka는 이 결합을 끊는다.

2026-05-01 11 분 소요

KAFKA

Kafka 장애 시나리오 — 데이터 유실과 중복 처리

들어가며

2026-05-01 13 분 소요

KAFKA

Kafka Consumer 동작 원리와 파티션 할당

주문 이벤트 처리 속도가 발행 속도를 따라가지 못한다. 컨슈머 인스턴스를 한 대 더 띄우면 해결될까? 파티션이 3개인데 컨슈머가 이미 3개라면 4번째 컨슈머는 아무것도 하지 않고 대기만 한다. 컨슈머 그룹과 파...

2026-05-01 7 분 소요

KAFKA

Kafka Broker 내부 구조와 로그 관리

Kafka가 초당 수백만 메시지를 처리하면서도 디스크 기반임에도 빠른 이유는 무엇일까? 비결은 브로커 내부의 로그 세그먼트 구조, 페이지 캐시 활용, 제로카피 전송에 있다. 브로커 내부를 이해하면 성능 튜닝 방...

2026-05-01 7 분 소요