들어가며서비스가 성장하면서 데이터는 여러 시스템에 분산됩니다. MySQL에 저장된 주문 데이터를 Elasticsearch에서 검색하고, MongoDB의 상품 카탈로그를 데이터 웨어하우스에 동기화해야 합니다. 이런 데이터 통합을 직접 코딩하면 커넥션 관리, 장애 복구, 스키마 변환 등 수많은 문제를 해결해야 합니다.Kafka Connect는 이러한 데이터 파이프라인을 선언적으로 구축할 수 있게 해주는 프레임워크이며, Debezium은 CDC(Change Data Capture)를 통해 데이터베이스 변경사항을 실시간으로 캡처하는 대표적인 Source Connector입니다. 이 글에서는 MySQL에서 Kafka를 거쳐 Elasticsearch까지 데이터를 실시간으로 동기화하는 완전한 파이프라인을 구축해 보겠..
