Zookeeper 없이 카프카 시작하기

🚀 Kafka에서 Zookeeper가 제거되는 이유 (KRaft 도입 배경)

Kafka는 기존에 Apache Zookeeper를 사용하여 클러스터 메타데이터를 관리했지만, Kafka 3.0부터 Zookeeper 없이 동작하는 KRaft(Kafka Raft) 모드를 도입하여 점진적으로 Zookeeper를 제거하는 방향으로 가고 있다.
Kafka 7.0부터는 KRaft 모드가 기본이 되며, Zookeeper는 공식적으로 지원이 중단될 예정이다. 


Zookeeper 제거(KRaft 도입)의 이유

1️⃣ Kafka 자체적인 메타데이터 관리 (Zookeeper 의존성 제거)

기존 Kafka는 토픽, 파티션, 컨슈머 그룹 등의 메타데이터를 Zookeeper에서 관리했다. 이 방식에서는 Kafka와 Zookeeper가 별도로 동작하며, 추가적인 통신 비용이 발생했다. KRaft(Kafka Raft)를 도입하면서 Kafka 내부에서 직접 메타데이터를 관리할 수 있게 되었다.

-  Kafka가 독립적으로 운영 가능해지고, 외부 의존성이 사라진다.



2️⃣ 성능 및 확장성 개선

기존 Zookeeper 방식에서는 모든 브로커가 Zookeeper에 지속적으로 읽기/쓰기 요청을 보냈다. 클러스터가 커질수록 Zookeeper의 부하가 증가하고, 대규모 Kafka 환경에서 병목이 발생할 가능성이 높아졌다. KRaft는 Kafka 내부에서 직접 Raft Consensus Algorithm을 사용하여 메타데이터를 관리한다.

- Kafka 클러스터가 커져도 확장성이 뛰어나며, 더 많은 파티션을 처리할 수 있다.



3️⃣ 리더 선출 프로세스 간소화

기존 방식에서는 Controller Broker(리더 브로커) 선출이 Zookeeper를 통해 이루어졌다. Zookeeper 장애 시, 새로운 리더 선출 과정에서 추가적인 지연이 발생했다. KRaft에서는 Kafka 내부에서 Raft 알고리즘을 사용하여 빠르게 리더를 선출할 수 있다.

- Kafka 내부에서 컨트롤러 선출이 가능하므로 장애 복구 속도가 빨라진다.



4️⃣ 복잡한 운영 관리 간소화

기존에는 Kafka와 Zookeeper를 모두 관리해야 했으며, 설정, 모니터링, 스케일링이 복잡했다. Zookeeper를 유지하기 위해 추가적인 인프라 관리 비용이 발생했다. KRaft를 사용하면 Kafka만 관리하면 되므로 운영 부담이 감소한다.

- Kafka 관리가 더 쉬워지고, 유지보수 비용이 줄어든다.



📌 기존 방식 vs KRaft 방식 비교

항목	기존 (Zookeeper)	새로운 방식 (KRaft)
메타데이터 저장 위치	Zookeeper에서 관리	Kafka 내부에서 관리
리더 선출 방식	Zookeeper가 리더 선정	Kafka 자체적으로 리더 선정
확장성	클러스터 커질수록 Zookeeper 부하 증가	대규모 확장성 가능
장애 복구 속도	Zookeeper 장애 시 복구 느림	Kafka 내에서 빠르게 복구 가능

🚀 결론

✅ Kafka는 Zookeeper 없이도 동작 가능한 KRaft(Kafka Raft)를 도입했다.
✅ Kafka 내부에서 직접 메타데이터를 관리할 수 있어 성능이 향상되고, 장애 복구 속도가 증가한다.
✅ Zookeeper 의존성을 제거하여 운영 관리가 간편해진다.
✅ Kafka 7.0부터 Zookeeper가 완전히 제거될 예정이다. 🚀

 

설치 과정(Mac OS)

https://learn.conduktor.io/kafka/how-to-install-apache-kafka-on-mac-without-zookeeper-kraft-mode/

https://learn.conduktor.io/kafka/how-to-install-apache-kafka-on-mac-without-zookeeper-kraft-mode/

위 링크에 설명이 잘 되어있다. 먼저 자바 11을 설치해야하는데 만약 본인이 11이상 버전을 쓰고 있으면 굳이 설치하지 않아도 괜찮다.  Kafka 3.x 버전부터Java 11 이상이 필요하기 때문에 설치를 요구하는 것이다.


kafka를 설치해야한다. 
https://kafka.apache.org/downloads

Apache Kafka

 

주키퍼 없이 KRaft모드로 설정하기 위해선 Binary로 다운 받아야한다. 
2.13 추천한다고 해서 나는 2.13으로 받았다.

그후 다시 이전 페이지로 돌아와서 터미널에서 명령어를 입력해주되,

~/kafka_2.13-3.0.0/bin/kafka-storage.sh random-uuid

위 사진에 보듯이 버전을 맞춰서 입력을 해야한다. 
나와 같은 경우 이렇게 입력해야한다.

~/kafka_2.13-3.9.0/bin/kafka-storage.sh random-uuid

그럼 UUID 가 나오는데 

~/kafka_2.13-3.0.0/bin/kafka-storage.sh format -t <uuid> -c ~/kafka_2.13-3.0.0/config/kraft/server.properties

<uuid> 이 부분에 "<uuid>" 삭제하고 발급받은 uuid를 넣어주면된다. 여기에서도 버전과 경로는 본인이 잘 맞춰줘야 한다.
이 명령어는 Kafka KRaft 모드를 사용할 때 필수적인 초기화 과정으로, Kafka 클러스터의 메타데이터 저장소를 설정(포맷)하는 과정이다.

~/kafka_2.13-3.0.0/bin/kafka-server-start.sh ~/kafka_2.13-3.0.0/config/kraft/server.properties

 그 후 위의 명령어를 입력하면 카프카가 실행된다