1. 카프카 기초 다지기

1.1 리플리케이션 (Replication)

리플리케이션은 각 메시지들을 여러 개로 복제해 카프카 클러스터 내 브러크들에 분산 시키는 동작을 의미한다.

→ 하나의 브로커가 종료되더라도 안정성을 유지할 수 있음

리플리케이션 기준

리플리케이션 팩터를 높이는 건 리소스를 많이 사용하고 안정성을 챙기는 트레이드 오프 과정이다.

• 테스트나 개발 환경 → 리플리케이션 팩터 1로 설정
• 운영 환경(로그성 메시지로서 약간의 유실 허용) → 리플리케이션 팩터 2로 설정
• 운영 환경(유실 허용하지 않음) → 리플리케이션 팩터 3으로 설정

1.2 파티션

• 하나의 토픽이 한 번에 처리할 수 있는 한계를 높이기 위해 토픽 하나를 여러 개로 나눠 병렬 처리 가능하게 만든 것을 파티션이라고 한다.
• 파티션을 여러개 두면 분산처리도 가능하고 이렇게 나뉜 파티션 수만큼 컨슈머를 연결할 수 있다.

• 파티션 수 설정하는 기준은 좀 모호하긴 하다.
• 각 메시지 크기나 초당 메시지 건수 등을 고려하긴 해야함
• 파티션은 언제든 늘릴 수 있지만 반대로 한 번 만들면 절대 줄일 수 없기 때문에 초기에 작게 2 또는 4 정도로 생성한 후 메시지 처리량이나 컨슈며 Lag 같은 것들을 모니터링하면서 조금씩 늘려가는 것도 좋다.

1.3 세그먼트

• 브로커로 전송된 메시지는 토픽의 파티션에 저장되며 각 메시지들은 세그먼트라는 로그 파일의 형태로 브로커의 로컬 디스크에 저장된다.