🛠️ Data Engineering Pipeline

- 기존 모델 학습용 데이터 전처리는 비정기적으로, 권한을 가진 담당자가 ==수동으로 스크립트를 실행==하는 방식으로 이루어졌습니다. - 담당자의 업무 일정에 의존성이 강했고, 모델 ==학습 지연의 주요 병목==이 되었습니다. - 또한, 정기적인 모션캡쳐 데이터 추가가 모델 성능 향상으로 바로 이어질 수 없었습니다. - Engineering team과 협업하여 ==Airflow 기반 운영 파이프라인==으로 전환, 데이터 전처리 프로세스를 자동화했습니다. - Timetable 기능을 활용한 ==커스텀 스케줄러==를 적용했습니다. - 수동 trigger 시 10시간 이상 소요되던 전처리 작업을 매달 마지막 주 주말 오전에 자동 수행하도록 구성해 업무 효율성을 높였습니다. - 모든 구성원이 대시보드에서 세부 프로세스의 진행상황을 모니터링할 수 있어 전처리 과정을 투명하게 확인할 수 있게 되었습니다. - 애니메이터와 협업해 학습 가능한 수준의 모션 데이터 품질 기준을 정의하고, ==모션 데이터 필터링 공통 로직==을 개발했습니다. - foot sinking/plunging 탐지 - 비정상적인 height spike 탐지 - 유효 공간(valid space) 이탈 탐지 - hovering motion 탐지 - ==구성원 대상 세미나==를 진행해 데이터 전처리 로직과 품질 관리 기준을 공유하고, ==체계적으로 관리되는 데이터가 모델 품질을 좌우한다==는 인사이트를 전달했습니다.