이미지에서 비디오로 모달리티가 확장되며 발생하는 modality gap
- Experiment : 현존하는 가드레일 모델들의 한계점 분석 (본인 수행)
- Video의 프레임을 샘플링해 개별적으로 모델에 태우는 세팅과, 전체 비디오를 태우는 세팅으로 실험한 결과, 모델의 판단이 상이한 것을 발견. 모달리티 gap의 가능성이 있음을 파악하였다.
본 연구는 이미지와 텍스트가 함께 입력되는 환경에서 기존 GuardRail 모델의 안전 판단 능력을 분석하고, 성능 개선 가능성을 검토하기 위해 수행하였다. 연구 초기에는 특정 한계를 전제하기보다 멀티모달 안전 모델의 구조와 학습 방식, 적용 가능한 입력 범위를 조사하고 기존 모델을 재현·평가하는 데 집중하였다.
서베이와 기초 실험을 진행하면서 모델이 이미지와 텍스트의 결합 맥락을 충분히 반영하지 못하고, 특정 입력이나 안전 라벨에 판단이 치우치는 사례를 관찰하였다. 이후 이미지–텍스트 공동 맥락을 요구하는 학습 데이터 구성과 추론 단계의 경량 기법이 이러한 문제를 완화할 수 있는지 실험하였다. 데이터셋이나 입력 조건이 달라져도 개선 효과가 유지되는지 역시 함께 검토하였다.
하단 기재된 연구일지는 공동연구의 전체 논의 중 본인이 직접 수행하거나 주도적으로 분석한 서베이, 실험을 중심으로 기술하였다.
연구 초기에는 멀티모달 안전 모델의 구조와 학습 방식을 파악하기 위해 다음 모델 및 관련 연구를 조사하였다.
기존 연구는 일반적으로 안전 분류체계(Safety Taxonomy)를 정의한 뒤, 입력의 Safe/Unsafe 여부와 위반 카테고리 또는 판단 근거를 함께 예측하도록 모델을 학습하는 방식을 사용하였다.
초기 GuardRail 연구의 한계로 지적되는 점은 모델의 출력이 binary classification에 국한된다는 점이었는데, 이를 해결하기 위해 위 연구들에서는 rationale을 같이 제공하게 된다.
연구의 motivation을 잡기 위해, 기존 가드레일 연구들을 여러 상황에서 분석하고, 한계점을 파악하는 데 집중하였는데, 초기 설정한 연구 방향은 다음과 같다.
이미지에서 비디오로 모달리티가 확장되며 발생하는 modality gap