본 연구는 최신 비디오 편집 모델의 결과물이 실제 영상과 얼마나 구별 가능한지 평가하고, 편집 결과의 품질까지 함께 고려하는 평가 방향을 탐색한다.
연구명은 다음과 같다. ‘Can We Trust Frontier Video Editing Models?’
연구 초기에는 워터마킹·핑거프린팅과 최신 비디오 편집·탐지 방법을 조사하였다. 이후 편집 모델을 달리한 학습·평가 설정에서 탐지기의 일반화 성능을 비교하고, 압축·VAE 재구성 및 편집 유형에 따른 탐지 가능성 변화를 분석하였다. 미학습 편집 모델과 일부 동작 편집 유형에서 성능 저하가 관찰되었고, 현재는 AIGC detector들의 Detectability에 영향을 미치는 추가적인 요인들을 발견하여 분석을 진행 중이다. 해당 내용은 본 보고서에 미반영된 상태이다.
아래 연구 일지는 공동연구 중 본인이 직접 수행한 detector 평가와 결과 분석을 중심으로 정리하였다. 공동으로 수행한 작업은 해당 항목에서 담당 범위를 구분하였다.
새로운 연구주제를 위한 연구분야 리서치를 진행하였다.
다음과 같은 리서치 분야들을 조사하였고, 내가 제안한 분야는 Safety for Streaming Videos(Real-time)이었다.
연구의 motivation
현행 연구들의 Limitations and key challenges
Lack of benchmark which contain hard-negative samples
(e.g. violence같지만 서로 장난치는(safe) 경우)
video를 offline으로 추론하는 연구단계에 머물러 있음
교수님이 Can We Trust Frontier Video Editing Models? 라는 주제를 제안하셨고, 해당 주제로 픽스