Cinamon Inc. · Part-aware Composition

🎭 Part-aware Composition

프로젝트 기간: 2025. 12 - 2026. 01

복잡한 텍스트 프롬프트를 ==상·하체 수준의 제어 가능한 동작 표현==으로 분해해 모션 표현의 다양성을 높이는 PoC를 진행했습니다. LLM 기반 prompt decomposition, retrieval composition, refinement를 ==독립 모듈로 설계해 빠르게 검증 가능한 파이프라인==으로 재구성했습니다. 모듈화 방식의 문제 해결을 통해 디버깅 단위를 줄였고, 특히 refinement model을 개별 사내 모델로 발전시켰습니다.

LLM Decomposition Retrieval Composition Diffusion Refinement

Media

1 / 1

서로 다른 파트 조합으로 생성한 결과 샘플을 확인할 수 있습니다.

📍 업무 수행 내용

flowchart LR prompt["Text Prompt"] --> llm["LLM Prompt Refine"] llm --> upper["Upper-body
Prompt"] llm --> lower["Lower-body
Prompt"] upper --> db["Retrieval Model"] lower --> db db --> upperMotion["Retrieved
Upper-body Motion"] db --> lowerMotion["Retrieved
Lower-body Motion"] upperMotion --> compose["Motion Composition"] lowerMotion --> compose compose --> refine["Refinement"] refine --> final["Final Motion"]

- 조직 내 AI로 개선 가능한 실무적 어려움을 발굴해 프로젝트 제안서를 작성하고 피칭을 진행했습니다. - 콘텐츠 담당자와 커피챗을 통해 ==실무에서 병목이 되는 지점을 발견==하고, AI 기술을 통해 모션 표현의 다양성을 높일 수 있는 방법을 제안했습니다. - 테스트 시나리오를 바탕으로 ==세부 마일스톤==을 설계하고 단계별 검증을 수행했습니다. - 마일스톤 1 : LLM이 파트별 의미를 잘 분리하는가 - 마일스톤 2 : 분리된 파트 정보로 적절한 motion retrieval이 가능한가 - 마일스톤 3 : 임의로 합성한 결과를 refinement 네트워크로 자연스럽게 만들 수 있는가 - Facial expression을 제외한 저수준, 구체적인 검색 문장으로 재작성하도록 system prompt를 작성해 ==검색 모델과 alignment==를 맞췄습니다. - 예) 'Raise one hand and check the time on the watch'에 대한 검색용 prompt refinement - UpperBody: The person lifts their left arm and turns the wrist slightly. - LowerBody: The person stands still with legs relaxed and feet firmly on the ground. - 분리한 상·하체 prompt로 각각 모션을 검색한 뒤, ==joint별 local rotation== 정보를 조합해 합성했습니다. - 1-step denoising 기반 motion refinement를 적용해 ==모션 보정 모델의 독립 모듈화 가능성을 검증==했습니다.