개발 일상 | 백엔드 김승원의 실무 노트

들어가며서비스가 성장하면서 데이터는 여러 시스템에 분산됩니다. MySQL에 저장된 주문 데이터를 Elasticsearch에서 검색하고, MongoDB의 상품 카탈로그를 데이터 웨어하우스에 동기화해야 합니다. 이런 데이터 통합을 직접 코딩하면 커넥션 관리, 장애 복구, 스키마 변환 등 수많은 문제를 해결해야 합니다.Kafka Connect는 이러한 데이터 파이프라인을 선언적으로 구축할 수 있게 해주는 프레임워크이며, Debezium은 CDC(Change Data Capture)를 통해 데이터베이스 변경사항을 실시간으로 캡처하는 대표적인 Source Connector입니다. 이 글에서는 MySQL에서 Kafka를 거쳐 Elasticsearch까지 데이터를 실시간으로 동기화하는 완전한 파이프라인을 구축해 보겠..

들어가며마이크로서비스 환경에서 실시간 데이터 처리는 더 이상 선택이 아닌 필수가 되었습니다. 주문이 발생하면 즉시 재고를 업데이트하고, 사용자 행동 로그를 실시간으로 분석해 추천 시스템에 반영해야 합니다. Apache Kafka Streams는 이러한 실시간 스트림 처리를 별도의 클러스터 없이 Java 애플리케이션 안에서 수행할 수 있게 해주는 강력한 라이브러리입니다.이 글에서는 Kafka Streams의 핵심 아키텍처부터 KStream과 KTable의 차이, Topology 구성, Windowed Aggregation, State Store, 장애 복구 메커니즘, 그리고 Spring Boot와의 연동까지 실전 예제와 함께 깊이 있게 다루겠습니다.Kafka Streams 아키텍처 이해Kafka Strea..

Kafka 운영, 왜 어려운가?Apache Kafka는 대규모 실시간 데이터 파이프라인의 핵심 인프라로 자리 잡았습니다. 하지만 프로덕션 환경에서 Kafka를 안정적으로 운영하는 것은 단순히 클러스터를 띄우는 것과는 차원이 다른 문제입니다. Consumer Lag이 갑자기 치솟거나, 브로커가 다운되거나, 디스크가 가득 차는 상황에 빠르게 대응하려면 체계적인 모니터링과 장애 대응 전략이 필수입니다.이 글에서는 실무에서 바로 적용할 수 있는 Kafka 운영 노하우를 모니터링, 장애 대응, 클러스터 관리 세 가지 축으로 정리합니다.1. Consumer Lag 모니터링 - 운영의 첫 번째 관문Consumer Lag은 프로듀서가 토픽에 쓴 최신 오프셋과 컨슈머가 실제로 읽은 오프셋의 차이를 의미합니다. Lag이 ..

Kafka Consumer Group 리밸런싱이란?Kafka에서 Consumer Group은 토픽의 파티션을 여러 Consumer가 나누어 처리하는 핵심 메커니즘입니다. 리밸런싱(Rebalancing)은 Consumer Group 내 파티션 소유권이 재분배되는 과정을 말합니다. 새로운 Consumer가 그룹에 참여하거나, 기존 Consumer가 이탈하거나, 토픽의 파티션 수가 변경될 때 트리거됩니다.리밸런싱이 발생하면 모든 Consumer가 일시적으로 메시지 처리를 중단하고 파티션을 재할당받습니다. 이는 처리량 저하와 지연을 야기하므로, 프로덕션 환경에서 리밸런싱을 최소화하는 전략이 매우 중요합니다.리밸런싱 트리거 조건리밸런싱은 다음과 같은 상황에서 발생합니다.Consumer 추가: 새로운 Consume..

들어가며마이크로서비스 아키텍처(MSA)가 보편화되면서, 서비스 간 비동기 통신의 중요성은 나날이 커지고 있습니다. 그 중심에 Apache Kafka가 있습니다. LinkedIn에서 탄생하여 이제는 Netflix, Uber, 카카오, 라인 등 수많은 기업에서 핵심 인프라로 사용하고 있는 Kafka. 이 글에서는 백엔드 개발자가 반드시 알아야 할 Kafka의 핵심 개념을 처음부터 끝까지 정리합니다.1. Kafka란? - 메시지 큐 그 이상의 존재전통적인 메시지 큐와의 차이Kafka를 처음 접하면 "메시지 큐 아닌가?"라고 생각하기 쉽습니다. RabbitMQ나 ActiveMQ 같은 전통적인 메시지 큐와 비교하면 근본적인 설계 철학이 다릅니다.전통적 메시지 큐: Consumer가 메시지를 가져가면(consume..