에이전트가 사진 검색을 할 수 있게 만드는 법: ClawGallery

이 글은 LinkedIn 원문을 블로그에 그대로 옮긴 것입니다.

꿀팁 : 에이전트가 사진 검색 할 수 있게 만드는 법!! 바로 ClawGallery를 설치한다! 제가 새로 만든 오픈소스입니다. 완전 무료.

우리 컴퓨터에는 수많은 사진들이 있죠. 스크린샷, 여행 사진, 인터넷에서 다운로드 받은 밈들… 문제는 이 수많은 사진들 찾는게 보통 일이 아닙니다. AI를 잘 쓰는 우리는 헤르메스나 클로드 코드 등에게 사진을 찾아주라고 해도… 이상하게 잘 안 찾아 집니다.

문제는

1. ‘이미지’를 바로 검색하는 툴이 없다.
2. 인터넷 다운로드, 스크린샷 등은 이미지 제목도 그냥 아무 제목으로 되어있는 경우가 많다.

이것을 두 가지 방법으로 해결합니다.

1. VLM을 이용해서 이미지의 캡션을 생성, 이미지 이름도 바꿔서 탐색 가능하게 합니다.
2. VDR (Visual Document Retrieval) 모델을 구동하여 벡터로 변환, 의미적으로 이미지를 바로 찾습니다. VDR은 문서를 이미지로 찾는, 이미지 검색 임베딩 모델이라고 보시면 됩니다.

https://lnkd.in/gJPp4xqq

아래는 제가 Hermes Agent에 물려서 직접 사용하는 예시입니다. 엘롯기 짤 같은 것을 묘사하면 아주 잘 찾아주는 것을 볼 수 있습니다!!

설치 방법은 간단합니다. 저 깃허브 링크 던져주고 “세팅해줘” 하면 됩니다. 그리고 에이전트의 지시를 따라가세요. 참고로 MLX 기반 임베딩 모델을 사용하기 때문에 윈도우는 아직 사용이 어렵습니다;;

많은 사용과 깃허브 스타 바랍니다!