nemo's dev memos

Inspect Rich Documents with Gemini Multimodality and Multimodal RAG과정 중 3번째Multimodal Retrieval Augmented Generation (RAG) using the Gemini API in Vertex AI(Vertex AI의 Gemini API를 사용하는 멀티모달 검색 증강 생성(RAG)) 여기는 분량이 많아 나누었습니다.이 포스트는 2편입니다. (이전 1편은 여기를 참고) Comparative reasoning (비교 추론) ex) 지금까지 한 일을 비교 추론에 적용합시다. 1 단계 : 특정 쿼리의 모든 이미지를 검색합니다.2 단계 : 해당 이미지를 Gemini에 보내어 여러 질문을하고 답변을 제공해야합니다.matching_..

Inspect Rich Documents with Gemini Multimodality and Multimodal RAG과정 중 3번째Multimodal Retrieval Augmented Generation (RAG) using the Gemini API in Vertex AI(Vertex AI의 Gemini API를 사용하는 멀티모달 검색 증강 생성(RAG)) 여기는 분량이 많아 나누었습니다.이 포스트는 1편입니다. ( 2편은 여기를 참고 ) RAG란?(Retrieval-Augmented Generation, 검색 증강 생성) - AI가 최신 정보나 특정 전문 데이터를 '검색(Retrieval)'해서 '참고'한 뒤 답변을 생성(Generation)하는 기술~~ 쉽게 말해, AI에게 '오픈북 ..

Inspect Rich Documents with Gemini Multimodality and Multimodal RAG과정 중 첫번째1. Multimodality with Gemini(Gemini의 멀티모달리티)멀티모달이란?여러 종류의 데이터를 동시에 이해하고 처리하는 능력을 의미합니다.'멀티(multi)'는 '다중'을, '모달(modal)'은 데이터의 종류(양식)를 뜻하며, AI가 인간처럼 텍스트, 이미지, 음성, 영상 등 다양한 정보를 함께 활용해 더 종합적으로 상황을 파악하고 소통하는 방식입니다. 멀티모달 AI란 무엇인가요?여러 모달리티 또는 데이터 유형의 정보를 처리하고 통합할 수 있는 머신 러닝 모델을 말합니다. 이러한 모달리티에는 텍스트, 이미지, 오디오, 비디오 및 기타 형태의 감각적 인풋..