카프카의 기본 개념을 간단히 소개
*자세한 설명 생략
▷ 카프카(Kafka) 란?
- 고성능 분산형 데이터 스트리밍 플랫폼
*스트리밍 플랫폼(Streaming Platform) : 데이터 스트림을 읽고 쓰고 저장하고 처리하는 시스템
*데이터 스트림(이벤트 스트림, 스트리밍 데이터) : 끊임없는 지속적인 데이터 흐름
- Message Broker 역할을 할 수 있도록 구현(발행/구독)
- 기존 메시징 시스템과는 달리 Message를 메모리 대신 파일 시스템에 쌓아두고 관리
▷ 카프카(Kafka) 주요 구성
- KafkaCluster : 여러 개의 Broker를 구성한 클러스터(확장성, 고가용성)
- Broker : 카프카 애플리케이션이 설치된 서버 또는 노드
*3개 이상의 Broker로 구성하여 사용하는 것을 권장
- Producer : Message 발행
- Consumer : Message 수신
- Message : Producer가 Broker에게 전송하거나 Consumer가 읽어가는 데이터 조각(record)
*Message는 Key와 Value로 구성
- Topic : 데이터를 구분하기 위해 사용하는 단위(Message 이름)
*Topic에는 한 개 이상의 Partition이 존재
- Partition : 하나의 Topic을 여러 개로 나눈 그룹, Message를 저장하는 물리적인 파일
*병렬 처리, 분산 처리를 통한 성능 향상
*Message를 저장하는 물리적인 파일
*append-only 파일 : 새 Message는 맨 뒤에 추가
- Offset : Consumer에서 Message를 어디까지 읽었는지 저장하는 값
- Zookeeper : 분산 애플리케이션(Broker)을 관리를 위한 코디네이션 시스템
*KafkaCluster에 각 Broker의 동작 상태를 파악하고 상태 정보를 Producer 및 Consumer에게 전달
▷ 참고
[Kafka] 카프카 기본 개념 구조 이해하기
1. 카프카 기초 다지기 1) 카프카를 구성하는 주요 요소 - 주키퍼(Zookeeper) : 아파치 프로젝트 애플리케이션으로 카프카의 메타데이터(metadata) 관리 및 브로커의 정상상태 점검(health check) 을 담당
zeroco.tistory.com
[Kafka] 카프카란? 주요개념 및 용어 소개
카프카(Kafka)란? Apache Kafka는 고성능 데이터 파이프라인, 스트리밍 분석, 데이터 통합 및 미션 크리티컬 애플리케이션을 위해 오픈 소스 분산 이벤트 스트리밍 플랫폼(distributed event streaming platform)
ifuwanna.tistory.com
카프카 개념과 특징
카프카란 분산 메세지징 시스템, 데이터 파이프라인 라인을 만들때 주로 사용되는 플랫폼 카프카 특징(장점) 영속성(Persistence) 메세지를 파일시스템(디스크)에 저장 Kafka는 기존 메시징 시스템과
ka0oll.tistory.com
Kafka 기본 개념 (토픽, 파티션, 성능, 고가용성, 프로듀서, 컨슈머)
참조문서 https://kafka.apache.org/documentation/ https://godekdls.github.io/Apache%20Kafka/contents/ 1. 개요 링크드인에서 2011년 개발 Apache 프로젝트 오픈소스 Message Queue 분산 메세징 시스템, 확장성, 고가용성 메세
sjh836.tistory.com
[Kafka] Broker, Replication, ISR(In-Sync-Replication)
브로커(broker), 복제(replication), ISR(In-Sync-Replication)은 카프카 운영에 있어 아주 중요한 역할을 한다.: 복제. 파티션의 복제카프카 아키텍처의 핵심이다! 왜냐하면, 클러스터에서 서버에 장애가 생
velog.io
Kafka offset에 대해서
모든 소스 코드는 https://github.com/lkimilhol/kotlin-kafka-toy에서 확인 가능합니다! 안녕하세요. 이번에는 Kafka의 offset에 대해서 알아볼까 합니다. Kafka 메시지를 처리하는 도중 예외를 만난다면 어떻게
kimmayer.tistory.com
▷ 관련 글
메시지 큐(Message Queue)란?
메시지 큐의 기본 개념을 간단히 소개 *자세한 설명 생략 ▷ 메시지 큐(Message Queue)란? - 메시지 지향 미들웨어(MOM : Message Oriented Middleware)를 구현한 시스템 *미들웨어 : Application들을 연결해 서로
coding-today.tistory.com
MQTT 란?
MQTT ( Message Queueing Telemetry Transport ) * 자세한 설명 생략 ▷ MQTT 란? - IoT와 같이 제한되거나 대규모 트래픽 전송을 위해 만들어진 발행/구독 기반의 메시징 프로토콜 - 브로커와 클라이언트는 TCP/IP
coding-today.tistory.com
'▶ Back-End > 개념 요약' 카테고리의 다른 글
| HTML5 란? (0) | 2023.03.09 |
|---|---|
| WebSocket vs Socket vs Socket I.O (2) | 2023.02.17 |
| 메시지 큐(Message Queue)란? (0) | 2023.02.06 |
| 서블릿(Servlet) 이란? (0) | 2023.02.03 |
| Spring 이란? (0) | 2023.02.01 |
댓글