MotionLLM: Understanding Human Behaviors from Human Motions and Videos

url : https://arxiv.org/pdf/2405.20340

main page : https://lhchen.top/MotionLLM/

github : https://github.com/IDEA-Research/MotionLLM

홍콩대, 청화대

Abstract

LLM을 활용하여 비디오와 모션 모달리티를 통해 인간 행동 이해 분야를 탐구함

인간 모션 이해, 캡셔닝 및 추론을 위한 간단하면서도 효과적인 프레임워크인 MotionLLM을 제시함

Introduction

세밀한 캡션 작성 및 분석은 사람의 다중 모라리티지능 분야에서 매우 중요함

인간 행동은 주로 추출된 인간 동작 또는 비디로로 표현됨 그리고 얻기 어려우나

-> 사람 중심의 비디오는 얻기 쉽고 풍부한 사람-환경 사옿작용을 포함해 의미론적으로 추론을 전체적으로 도움