연구원들은 AI를 사용하여 이미지에서 유사한 자료를 식별합니다.

MIT 뉴스 오피스 웹사이트에서 다운로드할 수 있는 이미지는 Creative Commons Attribution Non-Commercial No Derivatives 라이센스에 따라 비영리 단체, 언론 및 일반 대중에게 제공됩니다. 제공된 이미지를 크기에 맞게 자르는 것 외에는 변경할 수 없습니다. 이미지를 복제할 때는 크레디트 라인을 사용해야 합니다. 아래에 제공되지 않은 경우 이미지를 "MIT"로 표시하십시오.

이전 이미지 다음 이미지

예를 들어 주방에서 작업하는 동안 물체를 조작하는 로봇은 어떤 품목이 동일한 재료로 구성되어 있는지 이해하는 데 도움이 됩니다. 이 지식을 통해 로봇은 카운터의 어두운 구석에서 작은 버터 덩어리를 집거나 밝은 냉장고 내부에서 막대 전체를 집을 때 비슷한 양의 힘을 행사한다는 것을 알게 됩니다.

재료 선택으로 알려진 동일한 재료로 구성된 장면에서 객체를 식별하는 것은 기계의 경우 특히 어려운 문제입니다. 재료의 모양은 객체의 모양이나 조명 조건에 따라 크게 달라질 수 있기 때문입니다.

MIT와 Adobe Research의 과학자들은 이 문제를 해결하기 위한 조치를 취했습니다. 그들은 사용자가 선택한 픽셀에 표시되는 특정 재료를 나타내는 이미지의 모든 픽셀을 식별할 수 있는 기술을 개발했습니다.

이 방법은 물체의 모양과 크기가 다양하더라도 정확하며, 그들이 개발한 기계 학습 모델은 동일한 재료를 다르게 보이게 할 수 있는 그림자나 조명 조건에 속지 않습니다.

다양한 이미지를 생성하기 위해 3D 장면을 수정하는 컴퓨터에서 생성된 "합성" 데이터만 사용하여 모델을 훈련했지만 시스템은 이전에 본 적이 없는 실제 실내 및 실외 장면에서 효과적으로 작동합니다. 이 접근 방식은 비디오에도 사용할 수 있습니다. 사용자가 첫 번째 프레임에서 픽셀을 식별하면 모델은 비디오의 나머지 부분에서 동일한 재료로 만들어진 개체를 식별할 수 있습니다.

로봇 공학의 장면 이해에 적용하는 것 외에도 이 방법은 이미지 편집에 사용되거나 이미지의 재료 매개변수를 추론하는 계산 시스템에 통합될 수 있습니다. 또한 자료 기반 웹 추천 시스템에도 활용될 수 있습니다. (예를 들어 쇼핑객이 특정 유형의 직물로 만든 의류를 검색할 수도 있습니다.)

"어떤 재료와 상호 작용하는지 아는 것이 매우 중요합니다. 두 개체가 비슷해 보일지라도 서로 다른 재료 속성을 가질 수 있습니다. 우리의 방법은 동일한 재료로 만들어진 이미지의 다른 모든 픽셀을 쉽게 선택할 수 있습니다." 전기 공학 및 컴퓨터 과학 대학원생이자 이 기술에 관한 논문의 주요 저자인 Prafull Sharma는 말합니다.

Sharma의 공동 저자로는 Adobe Research의 연구 과학자인 Julien Philip과 Michael Gharbi가 있습니다. 수석 저자인 William T. Freeman, 전기 공학 및 컴퓨터 과학과의 Thomas and Gerd Perkins 교수이자 컴퓨터 과학 및 인공 지능 연구소(CSAIL) 회원; Frédo Durand, 전기 공학 및 컴퓨터 과학 교수이자 CSAIL 회원; Adobe Research의 연구 과학자인 Valentin Deschaintre도 있습니다. 해당 연구는 SIGGRAPH 2023 컨퍼런스에서 발표될 예정이다.

새로운 접근 방식

재료 선택을 위한 기존 방법은 동일한 재료를 나타내는 모든 픽셀을 정확하게 식별하는 데 어려움을 겪습니다. 예를 들어 전체 대상에 초점을 맞춘 방법도 있지만, 나무 팔걸이가 달린 의자, 가죽 시트 등 하나의 대상이 여러 재료로 구성될 수도 있다. 다른 방법은 미리 결정된 재료 세트를 활용할 수 있지만 이러한 방법에는 수천 가지 종류의 목재가 있음에도 불구하고 "목재"와 같은 광범위한 라벨이 붙는 경우가 많습니다.

대신 Sharma와 그의 공동 작업자는 이미지의 모든 픽셀을 동적으로 평가하여 사용자가 선택한 픽셀과 이미지의 다른 모든 영역 간의 물질적 유사성을 결정하는 기계 학습 접근 방식을 개발했습니다. 이미지에 테이블 1개와 의자 2개가 포함되어 있고 의자 다리와 테이블 상판이 동일한 종류의 목재로 만들어진 경우 해당 모델은 유사한 영역을 정확하게 식별할 수 있습니다.