서울대 공대 컴퓨터비전 연구팀, 끝없이 영상 생성하는 AI 비디오 생성 기술 개발

서울대 공대 컴퓨터비전 연구팀, 끝없이 영상 생성하는 AI 비디오 생성 기술 개발- 짧은 클립만 생성하는 기존 모델 한계 극복해 영화, 광고 등 활용 가능성 높여 - 인공지능 분야 최고 권위 국제학술대회 NeurIPS 2024의 발표 논문 채택▲ (좌측부터) 김지환 연구원(협동과정 인공지능전공 석사과정), 강준오 연구원(전기정보공학부 박사과정), 한보형 교수(전기정보공학부, 협동과정 인공지능전공) 서울대학교 공과대학은 전기정보공학부 한보형 교수가 지도하는 컴퓨터비전 연구팀(CVLAB)이 별도의 학습 없이 무한한 길이의 비디오를 생성할 수 있는 혁신적인 인공지능(AI) 기술 ‘피포 디퓨전(이하 FIFO-Diffusion)’을 개발했다고 밝혔다.기존 영상 생성 모델의 한계를 극복한 FIFO-Diffusion은 디퓨전 모델에 기반한 비디오 생성 기술의 새로운 방법론을 제시했다는 평가를 받고 있다. 이 기술을 제안한 논문 ‘FIFO-Diffusion: Generating Infinite Videos from Text without Training’은 지난 10월에 인공지능 및 기계학습 분야의 최고 권위 국제학술대회 ‘NeurIPS 2024(Neural Information Processing Systems, 신경정보처리시스템학회)’의 발표 논문으로 채택되어 학계와 산업계의 주목을 받은 바 있다. NeurIPS는 인공지능 및 딥러닝 분야의 최신 연구 성과와 혁신적 기술이 발표되는 자리로 매년 엄격한 심사를 통과한 우수한 논문이 발표 논문으로 선정된다. 기존의 비디오 생성 모델은 영상 길이가 길어질수록 메모리 소모가 급격히 증가해 대규모 하드웨어 자원이 필요했을 뿐 아니라 프레임 간 일관성 유지에 어려움이 있어 부자연스러운 영상을 생성하는 한계가 있었다. 이에 연구팀은 메모리 사용량을 일정하게 유지하면서도 각 프레임이 자연스럽게 연결되는 영상을 생성하는 FIFO-Diffusion을 개발했다. 이 획기적인 기술은 사전에 짧은 클립을 통해 훈련된 디퓨전 모델이 추가 학습 없이 텍스트 조건에 맞춰 무한한 길이의 비디오를 생성하도록 설계됐기 때문에 고화질의 비디오를 장시간 생성할 수 있다. 특히 이번 연구에서는 비디오 품질 개선을 위해 세 가지의 혁신적 기법이 활용돼 관심을 끌었다. 먼저 각기 다른 노이즈 레벨의 비디오 프레임을 일련의 큐(queue) 형태로 동시에 처리하는 ‘대각선 디노이징(diagonal denoising)’ 기법을 통해 디퓨전 모델이 품질 저하 없이 무한히 긴 비디오를 생성하는 것을 가능케 했다. 이어서 프레임을 여러 블록으로 나눠 병렬 처리하는 ‘잠재 파티셔닝(latent partitioning)’ 기법으로 프레임 간 노이즈 레벨 차이를 줄였다. 그리고 새로 생성될 프레임들이 이전에 생성된 더 깨끗한 프레임을 참조하도록 하는 ‘앞서보기 디노이징(lookhead denoising)’ 기술을 도입해 후반 프레임의 손실을 감소시켜 더욱 선명한 비디오 출력을 구현할 수 있었다. 마지막으로 연구진은 비디오 생성 속도와 품질을 한결 높인 이 기법들을 다중 GPU에 병렬로 적용해 효율성을 극대화함으로써 무한히 긴 영상을 생성하는 비디오의 실현 가능성을 입증했다.▲ 대각선 디노이징(diagonal denoising) 기법의 모식도 : 서로 다른 노이즈 레벨의 프레임들이 사전 학습된 디퓨전 모델에 입력되어 순차적으로 처리된다.▲ (a) 잠재 파티셔닝(latent partitioning)과 (b) 앞서보기 디노이징(lookahead denoising) 기법의 모식도 : 잠재 파티셔닝은 프레임을 여러 블록으로 나눠서 병렬 처리하고, 앞서보기 디노이징은 각 블록에서 노이즈가 더 적은 프레임을 참조하여 더욱 선명한 비디오를 생성한다.FIFO-Diffusion 기술은 향후 영화, 광고, 게임, 교육 등 다양한 콘텐츠 산업에서 널리 활용될 것으로 기대된다. 기존의 텍스트 기반 비디오 생성 모델들은 3초 이내의 짧은 클립만 생성할 수 있어 실제 콘텐츠 제작에 이용되기 어려웠지만, 이러한 제약을 뛰어넘은 FIFO-Diffusion 기술이 상용화되면 길이 제한 없이 더 자연스러운 비디오를 생성할 수 있기 때문이다. 또한 학습을 위한 대규모 하드웨어 자원이나 방대한 데이터를 필요로 하지 않는 강점 덕분에 FIFO-Diffusion이 AI에 기반한 영상 콘텐츠 제작을 한층 활성화할 전망이다. 연구를 지도한 한보형 교수는 “기존 비디오 생성 모델의 한계를 깬 FIFO-Diffusion은 별도의 학습 없이 무한한 길이의 비디오를 생성한다는 새로운 개념을 수립했다는 점에서 의미가 남다르다”며 “향후 이 기술을 바탕으로 다양한 후속 연구를 이어나갈 계획”이라고 밝혔다. 논문의 주 저자인 김지환 연구원은 “이번 개발로 비디오 생성 기술이 영상 콘텐츠 분야에서 폭넓게 사용될 수 있는 토대가 마련됐다”고 연구의 의미를 설명했다.한편 연구 논문의 공동 제1저자인 김지환, 강준오 연구원은 현재 서울대 컴퓨터비전 연구실에서 비디오 생성 분야의 후속 연구를 심도 깊게 수행하고 있다.[문의]서울대학교 컴퓨터비전 연구실 김지환 연구원 / kjh26720@snu.ac.kr서울대학교 컴퓨터비전 연구실 추상혁 연구원 / sanghyeok.chu@snu.ac.kr

서울대 공대 컴퓨터공학부 강유 교수팀, 온라인 쇼핑몰 수익 극대화하는 상품 추천 기술 개발

서울대 공대 컴퓨터공학부 강유 교수팀, 온라인 쇼핑몰 수익 극대화하는 상품 추천 기술 개발- 제외 품목 없이 골고루 추천해 매출 증대 및 재고 소진 기여 가능- 세계 최고 데이터마이닝 학회 ‘WSDM 2025’에서 연구성과 발표 예정▲ (좌측부터) 강유 서울대 인공지능협동과정/컴퓨터공학부 교수, 김종진 컴퓨터공학부 박사과정생   서울대학교 공과대학은 인공지능 협동과정/컴퓨터공학부 강유 교수 연구팀이 다양화 추천을 고려한 개인화 순차 추천 기술을 개발했다고 밝혔다.온라인 쇼핑몰 등의 플랫폼에서 판매하는 상품들을 제외되는 품목 없이 골고루 사용자들에게 추천하는 시스템을 ‘다양화 추천(Diversified Recommendation)’이라 부른다. 이는 전자상거래 플랫폼의 수익을 극대화하는 핵심 요소이기 때문에 최근 관련 연구들이 주목받고 있다. 기존 연구들은 플랫폼 사용자 개개인의 선호 상품 정보를 취합한 후 선호도가 비슷한 상품 중 다른 사용자들이 좋아하지 않는 아이템을 추천하는 방식으로 다양화 추천에 접근했다. 그러나 이 방식은 미래의 사용자가 어떤 상품을 선호할지에 관한 정보는 사전에 반영시킬 수 없기에 앞으로 이뤄질 상품 추천의 다양성은 보장하기 어려웠다.이 맹점을 극복하고자 수행한 이번 연구를 통해 강유 교수팀은 사용자 간 순서를 고려한 다양화 추천 기술인 ‘사피드(이하 SAPID, Sequentially Diversified Recommendation via Popularity Debiasing and Item Distribution)’를 제시했다. SAPID는 사용자들의 과거 구매 데이터를 바탕으로 미래의 상품별 수요를 예측하여 현재 어떤 상품을 추천해야 다양성이 높아질지 판단하는 원리로 작동된다. 연구진은 각 상품의 플랫폼 등장 빈도를 참조하여 유명 제품에 편중되지 않게 아이템을 추천하도록 SAPID 모델을 훈련 데이터셋으로 학습시켰다. 이 과정을 거친 SAPID는 플랫폼 사용자에게 아직 추천되지 않은 상품이나 인기도가 낮은 상품을 우선적으로 추천함으로써 다양성을 증대시키는 역할을 수행한다. 앞으로 이 기술은 사용자들에게 순차적으로 상품을 추천해야 하는 여러 이커머스 플랫폼에서 기대 수익을 극대화하는 기술로 활용될 것으로 기대를 모으고 있다. SAPID를 통해 쇼핑몰 메인 화면에 각 상품이 노출되는 순위를 조정하면 전체적인 상품 판매량을 늘리고 재고를 줄일 수 있기 때문이다. 강유 교수는 “상품 추천의 정확성과 다양성을 모두 제고할 수 있는 SAPID는 학문적 가치 뿐 아니라 실용성도 높은 기술”이라며 “향후 온라인 쇼핑몰이나 온라인 콘텐츠 제공 서비스의 매출 증대 및 재고 소진에 크게 기여할 것으로 전망된다”고 밝혔다. 정헌재단의 학술 연구 지원을 받아 수행된 본 연구의 성과는 내년 3월에 데이터마이닝 및 머신 러닝 분야의 최우수 학회인 ‘WSDM(Web Search and Data Mining) 2025’에서 발표될 예정이다. 한편 연구 논문의 제1저자인 서울대 컴퓨터공학부 김종진 박사과정생은 순차 번들 추천 과정에서도 추천 품목의 다양성을 반영시키는 연구를 진행 중이다.[문의]서울대학교 인공지능협동과정/컴퓨터공학부 강유 교수 / 02-880-7254 / ukang@snu.ac.kr

서울대 공대, ‘2024 한마음 걷기 행사’ 성료

서울대 공대, ‘2024 한마음 걷기 행사’ 성료직원 간 화합 도모 및 낙성대공원 환경 정화 활동 통해 지역 사회 기여 취지   ▲ 2024 서울대 공대 한마음 걷기 행사 기념 사진 서울대학교 공과대학은 지난 1일 공대 전 직원들이 관악구 서울대 정문에서 낙성대공원까지 걸으며 환경 정화 활동을 펼치는 ‘2024 공대 한마음 걷기 행사’를 개최했다고 밝혔다. 100여 명의 공과대학 직원들이 자발적으로 참여한 이번 행사는 구성원들 간의 유대와 화합을 도모하고, 시민들의 휴식 공간을 쾌적하게 유지해 지역 공동체에 대한 대학의 사회적 책임을 몸소 실천하는 취지로 마련됐다. 이날 낙성대공원에 도착한 참가자들은 플라스틱, 일회용품, 담배꽁초 등 다양한 생활 쓰레기를 함께 수거하며 환경 보호의 중요성을 지역 사회의 시민들에게 널리 알리고, 쓰레기 불법투기 예방과 환경 미화의 필요성을 재인식하는 뜻깊은 시간을 가졌다. 행사를 마치며 서울대 김영오 공과대학장은 “이번 행사는 단순한 환경 정화 활동을 넘어 모든 직원들이 함께 걸으며 소통하고, 한마음으로 협력하는 계기가 되었다”면서 “앞으로도 지역 사회와 협력해 다양한 사회공헌 활동을 꾸준히 이어갈 것”이라고 밝혔다. 서울대 공대 관계자는 “이번 행사가 지역 주민들로부터 긍정적인 반응을 얻어 서울대학교와 지역 사회 간의 유대감을 높이는 데 기여하길 기대한다”라며 “공과대학은 여러 환경 보호 및 사회 기여 활동을 통해 친환경 캠퍼스 구축과 지속가능 발전의 실천에도 앞장설 계획”이라고 전했다.