[데이터엔지니어링] Apache Kafka 개념 알아보기
Apache Kafka 2011년, LinkedIn에서 개발 후 Apache 오픈소스로 공개 데이터 파이프라인의 확장, 기종 간의 호환성, 고성능 기반의 스트림 데이터 처리의 문제 해결을 위해 개발 실시간 스트리밍 데이터 수집, 처리하는 데 최적화된 분산 데이터 스토어 개발 배경 과거 링크드인 시스템 구성도 엔드투엔드(end-to-end) 연결 방식의 아키텍처 데이터가 출발지에서 목적지까지 직접적으로 이동 이러한 end-to-end 방식은 아키텍처가 거대해지고, 소스 어플리케이션과 타겟 어플리케이션을 연결하는 파이프라인의 개수가 많아지면서 문제가 발생. Kafka 도입 후 링크드인 시스템 구성도 Pub/Sub 방식 : 중앙에 메시징 시스템 서버를 두고 Publisher(게시자)가 topic에 메시지를 보..