🪄 Motion Refinement

- 사내 모션 생성 모델은 '지정한 지점에 도착하기', '입력 모달리티에 맞는 모션을 생성하기' 등 목표를 효과적으로 달성하지만, ==결과물의 퀄리티 이슈==가 반복되었습니다. - 목표를 '자연스럽게' 달성하기 위해 디버깅 복잡도가 높아지고, 모델 배포 사이클이 길어지는 한계가 발생했습니다. - 아티팩트가 존재하는 모션을 다시 ==자연스러운 모션 분포 안으로 유도==하는 모션 보정 모델을 설계하고 담당 프로젝트에 선제적으로 도입했습니다. - ==VQVAE, RQVAE, diffusion== 기반 모션 보정 모델 PoC를 진행해 비교 리포트를 작성했으며, ==정량 지표== (foot skating, MSE) 를 측정해 고도화 방향을 결정했습니다. - Canonicalized 모션 표현형을 바탕으로 1D Convolution RQVAE ==tokenizer==를 고도화했습니다. - 모션의 어색함이 global translation보다 local rotation에서 주로 발생함을 발견, 모델이 ==local 정보만 안정적으로 학습==하도록 유도해 학습 복잡성을 줄였습니다. - 예) Blender 좌표계 기준으로 'y축으로 2m 걷기'와 '-y축으로 2m 걷기'를 개별 정보가 아닌 동일한 '걷기' 포즈 정보로 인식하도록 구성 - 추론 시에는 원본 모션의 pelvis joint translation을 유지하고, 보정 모델이 생성한 local rotation 정보를 결합해 최종 결과를 반환했습니다.