사업이 다각화되고 회사 규모가 커지면서 내부적으로 데이터에 대한 온갖 요구사항이 불거졌다.
이러한 다양한 데이터 요구사항을 근본적으로 해결하기 위한 대책을 강구했다.
데이터의 변화가 스트림으로 컨슈머 측에 전달되는 이벤트 드리븐 시스템으로의 전환을 결정했다.
이벤트 드리븐 시스템 도입을 통해 데이터를 소비하는 컨슈머들은 자신의 요구사항에 따라 데이터를 처리하거나 구독할 수 있게 되었다.
이벤트 드리븐 시스템에서는 인바운드 데이터와 아웃바운드 데이터가 동일해야하는 것이 가장 중요하다.
사내의 여러 부서가 데이터를 소비하는데, 이 때 소비한 데이터가 서로 불일치하거나 일부 데이터가 누락된다면 데이터에 대한 신뢰성을 잃게 되고 이는 곧 쓸모없는 데이터 취급을 받게 된다.
이러한 현상을 막기 위해 인바운드, 아웃바운드 데이터가 일치함을 검증해야하고, 데이터파이프라인이 추가됨에 따라 데이터 검증에 대한 피로도가 계속 높아진다.