Data Engineering/Kafka

Kafka Connect란?

Kafka Connect는 Apache Kafka와 다른 데이터 시스템 간에 데이터를 확장 가능하고 안정적으로 스트리밍할 수 있는 도구입니다. 이를 통해 대용량 데이터 세트를 Kafka 안팎으로 이동시키는 커넥터를 빠르게 정의할 수 있습니다. Kafka Connect는 전체 데이터베이스를 수집하거나 모든 애플리케이션 서버의 메트릭을 Kafka topic으로 수집하여, 저지연으로 스트림 처리를 가능하게 합니다. 또한, export 커넥터를 통해 Kafka topic에서 Elasticsearch와 같은 2차 인덱스 또는 오프라인 분석을 위한 Hadoop과 같은 배치 시스템으로 데이터를 전달할 수 있습니다.이 포스트에서는 Kafka Connect의 작동 방식과 중요 용어 및 핵심 개념을 설명합니다. Kafka..