Build an AI Image Recognition app using Gemini on Vertex AI
(Vertex AI의 Gemini를 사용하여 AI 이미지 인식 앱 구축)
목적
Vertex AI의 생성 AI(genAI 또는 gen AI라고도 함)를 사용하면 Google의 대규모 생성 AI 모델을 활용하여 AI 기반 애플리케이션에 테스트, 조정 및 배포할 수 있습니다. 이 랩에서는 다음을 수행합니다.
- Vertex AI(Google Cloud AI 플랫폼)에 연결: Vertex AI SDK를 사용하여 Google AI 서비스에 연결하는 방법을 알아보세요.
- 사전 훈련된 생성 AI 모델 로드 - 제미니: 처음부터 모델을 구축하지 않고도 강력하고 사전 훈련된 AI 모델을 사용하는 방법을 알아보세요.
- AI 모델에 이미지 + 텍스트 질문 보내기: AI가 처리할 입력을 제공하는 방법을 알아보세요.
- AI로부터 텍스트 기반 답변을 추출합니다. AI 모델이 생성한 텍스트 응답을 처리하고 해석하는 방법을 배웁니다.
- AI 애플리케이션 구축의 기본 사항을 이해합니다. 소프트웨어 프로젝트에 AI를 통합하는 핵심 개념에 대한 통찰력을 얻습니다.
Working with Vertex AI Python SDK
이번 과정은 랩을 시작하면 왼쪽에는 코드 편집기가, 오른쪽에는 랩 지침이 분할 창으로 표시됩니다.
그리고 genai라서 좋습니다 :)
+) projectId와 location은 상단 아래 버튼 클릭 시 다시 보여집니다.
과정
- File > New File 파일 생성
- 아래 코드 복붙
from google import genai
from google.genai.types import HttpOptions, Part
client = genai.Client(http_options=HttpOptions(api_version="v1"))
response = client.models.generate_content(
model="gemini-2.0-flash-001",
contents=[
"What is shown in this image?",
Part.from_uri(
file_uri="https://storage.googleapis.com/cloud-samples-data/generative-ai/image/scones.jpg",
mime_type="image/jpeg",
),
],
)
print(response.text)ㄴ> 코드 설명
- Gemini(gemini-2.0-flash-001)라는 사전 학습된 AI 모델을 로드합니다.
- `generate_content`로 로드된 Gemini 모델의 메서드를 호출합니다.
- 입력은 이미지 URI와 이미지에 대한 질문이 포함된 프롬프트입니다.
- https://ai.google.dev/api/generate-content
- 이미지에 대해 설명하라고 prompt로 전달하고 있습니다. 이미지는 아래와 같습니다.
- 이 코드는 Gemini가 이미지와 텍스트를 함께 이해하는 능력을 활용합니다. 프롬프트에 제공된 텍스트를 사용하여 이미지의 내용을 설명합니다.
3. genai.py 이름으로 파일 저장
- 주의) 이때 경로는 따로 설정하지 않습니다. 그래야 5번이 실행됩니다.
4. 아래 코드에 project-id값과 location값을 적어준 후,
하단 터미널창에 아래 "환경 변수를 설정" 코드 복붙하고 Enter키 입력하면, "환경 변수를 설정"완료
export GOOGLE_CLOUD_PROJECT='"project-id"'
export GOOGLE_CLOUD_LOCATION='"REGION"'
export GOOGLE_GENAI_USE_VERTEXAI=True
5. 터미널의 코드 편집기 창에서 아래 명령을 복붙하고 Enter키 입력
/usr/bin/python3 /genai.py| root@e09b477483db:/home/student# /usr/bin/python3 /genai.py The image displays an overhead shot of a food arrangement featuring blueberry scones, a cup of coffee (both black and with milk), fresh blueberries in a small bowl, and a spoon engraved with "LET'S JAM". The arrangement is presented on a sheet of paper with a blueberry-themed print or stain, and pink peonies add a floral element to the composition. |
| 답변 번역 내용) 이 이미지는 블루베리 스콘, 커피 한 잔(블랙과 우유), 작은 그릇에 담긴 신선한 블루베리, 그리고 "LET'S JAM"이라고 새겨진 숟가락으로 구성된 음식 장식을 위에서 찍은 사진입니다. 이 장식은 블루베리를 주제로 한 프린트나 스테인이 있는 종이에 담겨 있으며, 분홍색 모란이 꽃무늬를 더합니다. |
출처
https://www.cloudskillsboost.google/course_templates/1076/labs/584318
Introduction to Building Real-World AI Applications with Gemini and Imagen - Vertex AI의 Gemini를 사용하여 AI 이미지
이 실습에서는 Google의 Vertex AI SDK를 사용하여 강력한 Gemini 생성형 AI 모델과 상호작용하는 방법을 알아봅니다. 이를 통해 이미지에 대해 질문하고 유용한 텍스트 기반 대답을 받을 수 있습니다.
www.cloudskillsboost.google