목적 1 : Kafka를 통한 MariaDB에 데이터 저장 구현

목적 2 : Log Aggregator 구현 전 Producer와 Consumer를 통해 샘플 데이터를 수집하고, MariaDB에 저장 할 수 있는 샘플 코드 구현 (샘플 데이터는 차후 좀더 자세히 다룰 예정)

https://www.notion.so/Kafka-REST-API-With-GO-Language-80ddbd00f98846fb8d8b8264c5c9164b 를 참고하여 MySQL 연결을 위한 코드수중

추가 참고 사이트 : https://tzara.tistory.com/42

• 예상 시스템 구조도 변경 진행중

  • 초기 시스템 구조도

  

  • 변경 후 시스템 구조도

• MySQL 연동을 위한 Kafka Connect 설정 및 확인 진행중 → Kafka Producer완 Consumer 기능을 사용하여 MariaDB와 연동 완료
• 현재 MariaDB와 연동 테스트를 위해 만든 Producer와 Consumer 동작 확인 진행 → 완료
  • 다양한 테이블에 저장되는 데이터를 Kafka를 통해 데이터 Insert시 각각의 Topic에 저장
  • Consumer를 통해 Topic 데이터를 실시간으로 가져옴

코드 구현