Write Through 캐시

DB에 쓰기를 할 때 캐시까지 채우면서 쓰기를하자.

RO RW 복제 지연이 발생할 때 RW에서만 읽게끔 만들면 RW DB에 부하가 생긴다.

이런 상황을 방지하려면 캐시를 사용해야하는데 쓰기할 때 캐시를 같이 채워줌으로써 RW DB 부하를 줄이는 방식을 사용하자.

TPS가 DB 부하를 일으킬 것 같다면..

insert 쿼리를 카프카 컨슈머에서 하도록 하는 것을 고려해보자

• insert 쿼리를 카프카 컨슈머에서 하도록 하여 부하를 조절하고
• 중복 insert 방지는 redis를 이용하여 막아보자

Redis 쓸 때

Avro와 gzip을 사용하자

Avro (Apache Avro)

Avro는 데이터를 binary 형식으로 직렬화 할 수 있는 포맷이다. JSON이나 XML보다 훨씬 작은 이진 포맷으로 데이터를 표현함으로써 저장 공간과 네트워크 전송시 효율성을 크게 향상 시킨다.

또한 이진 포맷이라 데이터의 인코딩, 디코딩 속도가 빠르다. 즉, 빠른 직렬/역직렬화를 할 수 있다.

Gzip