[Study Jam] Create Image Captioning Models

이미지 캡션 생성 모델 만들기: 개요의 교육 요약

🔍 이미지 캡션 생성의 개념 소개

• 기본 개념: 구글 고급 솔루션 랩의 머신러닝 엔지니어인 타쿠미는 생성적 인공지능(Generative AI)의 최신 발전에 대해 소개하며, 구글과 구글 클라우드가 여러 새로운 생성적 AI 제품과 기능을 출시했다고 언급합니다.
• 기술적 배경: 비디오 시리즈의 목적은 최신 생성적 AI를 만드는 것이 아니라, 그 기술의 작동 원리를 설명하는 것입니다. 타쿠미는 인코더-디코더, 주목 메커니즘(Attention mechanism), 트랜스포머(Transformer) 같은 기술을 사용하여 간단한 이미지 캡션 생성 모델을 만드는 방법을 설명합니다.

🧠 이미지 캡션 작업과 데이터셋

• 데이터셋 소개: 사용할 데이터셋은 이미지와 텍스트 데이터의 쌍으로 구성되어 있습니다. 이 데이터를 사용하여 이미지에 기반한 텍스트 캡션을 생성할 모델을 구축하고 훈련하는 것이 목표입니다.
• 모델 구조: 이미지는 인코더를 통해 전달되고, 인코더는 이미지에서 정보를 추출하여 특징 벡터를 생성합니다. 이 벡터들은 디코더로 전달되어, 하나씩 단어를 생성하면서 캡션을 구축합니다. 이 과정은 인코더와 디코더가 각각 다른 모달리티(이미지와 텍스트)를 처리하는 방식으로 진행됩니다.

🔧 모델 구현과 추론 단계

• 디코더 아키텍처: 디코더는 반복적으로 작동하는 아키텍처로, 입력된 단어와 이미지 정보를 혼합하여 다음 단어를 예측합니다. 사용된 기술에는 GRU(게이트 순환 유닛), 주목 레이어, 그리고 트랜스포머 같은 요소들이 포함됩니다.
• 추론 단계 설명: 모델이 임의의 이미지에 대한 캡션을 생성할 수 있는 추론 단계는 좀 더 복잡합니다. 이 단계에서는 사용자 정의 루프를 통해 GRU 초기 상태를 생성하고, 시작 토큰을 전달하며, 이미지를 인코더에 전달한 후 특징 벡터를 추출하는 과정을 설명합니다.

비디오 내용에 따른 질문에 대한 답변:

1. 이미지 캡션 생성 모델에서 사용되는 주요 기술들
   • 이미지 캡션 생성 모델은 주로 인코더-디코더 아키텍처를 기반으로 합니다. 인코더는 이미지에서 중요한 정보를 추출하여 특징 벡터로 변환하는 역할을 하며, 이 때 사용되는 기술로는 InceptionResNetV2 같은 신경망이 있습니다.
   • 디코더는 인코더에서 받은 특징 벡터를 사용하여 텍스트 캡션을 한 단어씩 생성합니다. 이 과정에서 주목 메커니즘(Attention)과 GRU (Gated Recurrent Unit), 때로는 트랜스포머 아키텍처를 사용하는 변형을 포함할 수 있습니다. 주목 메커니즘은 이미지의 특징과 연관된 텍스트 정보를 결합하여 더 정확한 단어 예측을 돕습니다.
2. 인코더와 디코더가 이미지와 텍스트 데이터를 어떻게 처리하는지
   • 인코더는 이미지 데이터를 입력받아 다양한 층을 통과시키면서 중요한 정보를 추출하고, 이를 고차원의 특징 벡터로 변환합니다. 이 벡터는 이미지의 시각적 내용을 요약한 것으로, 디코더로 전달됩니다.
   • 디코더는 인코더에서 전달받은 특징 벡터를 사용하여 캡션을 생성합니다. 이 과정에서 디코더는 텍스트 데이터의 각 단어를 생성하기 위해 내부적으로 GRU와 같은 순환 신경망을 사용하여 이전 단어의 정보를 유지하면서 새로운 단어를 예측합니다. 주목 메커니즘을 통해 이미지의 어떤 부분이 현재 생성하고 있는 단어와 가장 관련이 깊은지 판단하여, 그 정보를 기반으로 다음 단어를 예측합니다.
3. 모델의 추론 단계에서 어떤 과정을 거치는지
   • 추론 단계에서는 실제로 이미지에 대한 캡션을 생성하는 과정입니다. 이 단계는 훈련 단계와 다르게 사용자 정의 루프를 사용하여 GRU의 초기 상태를 설정하고, 시작 토큰을 넣어준 후 이미지를 인코더에 전달합니다.
   • 인코더는 이미지로부터 특징 벡터를 추출하고, 이 벡터는 디코더로 전달됩니다. 디코더는 이 특징 벡터와 함께 이전에 예측된 단어(또는 초기 토큰)를 입력으로 받아 다음 단어를 예측합니다. 이 과정은 이미지의 콘텍스트와 연관된 적절한 텍스트를 생성할 때까지 반복됩니다.

이미지 캡션 생성 모델 만들기: 실습 가이드의 교육 요약 by Video Summarizer:

🔍 코드 노트북 통한 실습 소개

• 기본 설정 및 환경 준비: GitHub 저장소에 있는 설정 정보를 바탕으로 Vertex AI(버텍스 AI) 작업 환경을 준비하고 필요한 리포지토리를 복제합니다.
• 노트북 파일 열기: 이미지 캡션(dot)ipynb 파일을 열어서 이미지 캡션 모델을 구축하고 사용하는 전체 과정과 지침을 확인할 수 있습니다.

🧠 코드 실행 및 데이터 로딩

• 의존성 및 라이브러리 설치: TensorFlow Keras(텐서플로 케라스) 및 필요한 모든 레이어를 설치합니다. 이에는 GRU, Add Layer(추가 레이어), Attention Layer(주목 레이어) 등이 포함됩니다.
• 하이퍼파라미터 설정: 사전 정의된 단어의 크기 및 인코더 모델로 사용할 특징 추출기를 정의합니다. Inception ResNet V2(인셉션 레즈넷 V2)와 같은 CNN 기반 모델을 사용합니다.
• 데이터 로딩: TensorFlow Datasets(TFDS)를 통해 데이터를 로드하고, 이미지 크기 조정 및 스케일 조정을 포함한 기본 전처리를 수행합니다.

🔧 텍스트 데이터 전처리 및 토크나이저 생성

• 텍스트 전처리: 텍스트 데이터에 시작 및 종료 토큰을 추가하고, 표준 방식으로 데이터를 전처리합니다.
• 토크나이저 생성 및 적용: TensorFlow의 Text Vectorization(텍스트 벡터화) 모듈을 사용하여 텍스트 데이터를 토큰으로 변환하고, 토큰화된 데이터를 처리합니다. 문자열 조회 레이어(String Lookup Layer)를 사용하여 인덱스-단어 변환기를 생성합니다.

📈 모델 구축 및 훈련

• 데이터셋 최종 생성: 이미지 텐서와 캡션을 튜플로 반환하는 함수를 사용하여 훈련 데이터셋을 생성합니다. 타겟 레이블은 캡션의 단어를 하나씩 이동시키는 방식으로 생성됩니다.
• 모델 아키텍처: 이전 비디오에서 설명한 인코더와 디코더의 구조를 바탕으로 모델을 구축하고, 주목 메커니즘과 GRU, 레이어 정규화 등을 포함한 복잡한 디코더를 설정합니다.
• 모델 훈련 및 손실 함수 정의: 분류 모델로서의 특성을 감안하여 희소 범주형 교차 엔트로피를 손실 함수로 사용합니다. 훈련은 GPU를 사용하여 약 15-20분 동안 진행됩니다.

비디오 내용에 따른 질문에 대한 답변:

1. Vertex AI(버텍스 AI) 작업 환경 설정과 관련된 자세한 단계
   • Vertex AI 작업 환경 설정은 GitHub 저장소에서 제공하는 정보를 바탕으로 수행됩니다. 먼저, 필요한 리포지토리를 클론한 다음, Vertex AI 워크벤치 환경을 설정합니다.
   • 설정 과정에는 TensorFlow, Keras, 그리고 이미지 캡션 모델 구축에 필요한 다양한 라이브러리들의 설치가 포함됩니다. 이 환경은 이미지와 텍스트 데이터를 처리하고, 모델 학습을 진행하는 데 필요한 모든 도구와 라이브러리를 제공합니다.
2. 토크나이저 생성 및 적용 과정에서 사용된 주요 기술들
   • 토크나이저 생성 과정에서는 TensorFlow의 Text Vectorization(텍스트 벡터화) 모듈이 사용됩니다. 이 모듈은 전체 캡션 데이터를 입력받아 각 단어를 고유의 인덱스로 변환하는 작업을 자동화합니다.
   • 문자열 조회(String Lookup) 레이어를 사용하여 단어에서 인덱스로, 인덱스에서 단어로의 변환기를 생성합니다. 이는 텍스트 데이터를 모델이 처리할 수 있는 형태로 전환하는 데 중요한 역할을 합니다.
   • 토크나이저는 특히 캡션의 시작과 끝을 나타내는 특수 토큰을 관리하는 데 사용되며, 이는 모델이 각 캡션의 시작과 종료를 인식하는 데 도움을 줍니다.
3. 모델 훈련과 손실 함수 설정에 대해 자세히 설명
   • 모델 훈련은 정의된 아키텍처를 바탕으로 이미지와 텍스트 데이터를 사용하여 수행됩니다. 훈련 데이터셋은 이미지와 그에 해당하는 캡션을 포함하며, 각 이미지는 인코더를 통해 처리되고, 캡션은 디코더를 통해 생성됩니다.
   • 손실 함수로는 희소 범주형 교차 엔트로피(Sparse Categorical Crossentropy)가 사용됩니다. 이는 각 단어(클래스)에 대한 확률을 출력하는 분류 모델의 특성에 적합합니다.
   • 패딩된 데이터를 고려하여, 의미 없는 패딩 부분을 손실 계산에서 제외하는 사용자 정의 손실 함수가 구현되었습니다. 이는 효율적인 학습을 위해 중요한 단계입니다.