[Study Jam] Transformer Models and BERT Model

교육용 요약: Transformer Models and BERT Model: Overview by Video Summarizer:

🔎 트랜스포머(Transformer) 모델과 BERT 모델 개요

• ⏱ 기간: 00:00:00 - 00:11:32
• 👩‍🏫 발표자: 산자나 레디, 구글 고급 솔루션 랩의 머신러닝 엔지니어

🤖 트랜스포머 모델의 발전

• 트랜스포머 모델은 2017년 ‘Attention is All You Need’ 논문을 통해 소개됐습니다. 이전의 모델들이 단어를 벡터로 표현할 수 있었지만, 문맥에 따라 단어의 사용이 변하는 것을 고려하지 못했습니다.
• 트랜스포머는 인코더와 디코더 구조를 사용하여, 입력 시퀀스를 인코딩하고 디코딩합니다. 각 인코더는 자체 주의(self-attention)와 전방 피드 포워드(feedforward) 레이어로 구성됩니다.

🔍 BERT 모델의 혁신

• BERT(Bidirectional Encoder Representations from Transformers)는 2018년 구글에 의해 개발된 인코더 전용 아키텍처입니다. 이는 전체 위키피디아와 서적 코퍼스를 사용하여 긴 입력 컨텍스트를 처리할 수 있도록 훈련되었습니다.
• BERT는 문장 레벨과 토큰 레벨에서 작동하며, 마스크된 언어 모델링과 다음 문장 예측을 통해 훈련됩니다.

📊 숫자에 기반한 통찰력

• BERT Base는 약 1억 1천만의 파라미터를 가지고 있으며, BERT Large는 약 3억 4천만의 파라미터를 가집니다.
• BERT 모델은 100만 스텝에 걸쳐 훈련되었습니다.
• 마스킹 비율은 15%가 권장됩니다. 이는 훈련 과정을 너무 비싸게 하지 않으면서도 모델이 필요로 하는 맥락을 제거하지 않는 균형을 달성하기 위함입니다.

🔍 예시 탐색적 질문들

BERT 모델이 어떻게 다양한 NLP 작업에 사용될 수 있는가에 대한 설명:

BERT는 주로 다음과 같은 다양한 자연어 처리(NLP) 작업에 사용됩니다:

• 단일 문장 분류: BERT는 텍스트 분류 작업에 유용하며, 예를 들어 감성 분석이나 주제 분류에서 사용됩니다.
• 문장 쌍 분류: 두 문장이 같은 맥락인지 또는 서로 연관성이 있는지를 판별하는 작업에 사용됩니다. 예를 들어, 두 문장이 서로 의미상 유사한지를 판단하는 작업입니다.
• 질문 응답: 사용자의 질문에 대한 답을 찾기 위해 문서에서 관련 정보를 추출하는 데 사용됩니다.
• 문장 내 태깅: 개체명 인식과 같은 작업에서 각 토큰의 카테고리(예: 사람, 장소)를 식별하는 데 사용됩니다.

트랜스포머 모델의 주의 메커니즘이 기계 번역 성능을 향상시키는 방법:

트랜스포머 모델의 주요 특징 중 하나는 주의 메커니즘(Attention Mechanism)입니다. 이 메커니즘은 모델이 입력 문장에서 각 단어 간의 관계를 더 잘 이해하고, 중요한 단어에 더 많은 “주의”를 기울이도록 합니다. 예를 들어, 번역 과정에서 주의 메커니즘은 문장의 주요 구성 요소를 파악하고 그 의미를 정확하게 다른 언어로 전달할 수 있도록 도와줍니다. 이는 문맥을 더 잘 파악하고, 문장 구조와 의미를 보다 정확하게 번역하는 데 기여합니다.

BERT의 훈련 과정과 작업 설명:

BERT의 훈련은 두 가지 주요 작업에 초점을 맞추고 있습니다:

1. 마스크된 언어 모델링: 훈련 데이터에서 임의로 단어를 마스킹하고, 마스크된 단어를 예측하도록 모델을 훈련합니다. 이 과정은 모델이 언어의 깊은 맥락적 이해를 개발하도록 돕습니다.
2. 다음 문장 예측: 모델에게 두 문장을 제공하고, 두 번째 문장이 첫 번째 문장의 논리적인 후속 문장인지를 예측하게 합니다. 이 작업은 모델이 문장 간의 관계를 이해하고, 보다 정확한 문맥 파악 능력을 개발하도록 도와줍니다.

교육용 요약: Transformer Models and BERT Model: Lab Walkthrough by Video Summarizer:

🔎 트랜스포머 및 BERT 모델에 대한 실습

• ⏱ 기간: 00:00:00 - 00:11:28
• 👩‍🔬 발표자: 산자나 레디, 구글 고급 솔루션 랩의 머신러닝 엔지니어

🌐 BERT 모델을 사용한 실습 과정

• 발표자는 Google Cloud의 Vertex AI와 Jupyter Lab을 사용하여 실습을 진행합니다.
• 실습은 TensorFlow Hub에서 사전 훈련된 BERT 모델을 로드하고, 영화 리뷰를 긍정적 또는 부정적으로 분류하는 감정 분석 모델을 훈련하는 과정을 포함합니다.

📚 데이터와 모델의 구성

• IMDB 데이터 세트를 사용하여 25,000개의 영화 리뷰 중 20,000개를 훈련에, 5,000개를 테스트에 사용합니다.
• 사용된 BERT 모델은 4개의 레이어, 512개의 히든 유닛, 8개의 주의 헤드를 갖추고 있습니다.

🖥️ 모델 훈련 및 평가

• 모델은 학습 가능한(pre-trainable) 설정으로, 새 데이터에 맞게 초기 가중치를 조정하면서 학습됩니다.
• 최종 모델은 85%의 정확도를 달성하고, 훈련 후 로컬 경로에 모델을 저장합니다.

🚀 모델 배포 및 예측

• Vertex AI의 모델 레지스트리에 모델을 업로드하고, 생성된 엔드포인트에서 온라인 예측을 수행합니다.
• 예를 들어, “이 영화는 정말 대단해”라는 리뷰에 대해 0.99의 높은 긍정적 예측을 반환합니다.

🔍 예시 탐색적 질문들

BERT 모델을 사용한 영화 리뷰 감정 분석의 정확도를 향상시킬 수 있는 방법:

1. 데이터 증강: 데이터 증강은 훈련 데이터셋의 다양성을 높이는 데 사용할 수 있으며, 모델이 더 다양한 텍스트 패턴과 어휘를 학습하도록 돕습니다. 예를 들어, 동의어 교체, 문장 재구성 등을 통해 리뷰 데이터를 변형할 수 있습니다.
2. 하이퍼파라미터 튜닝: BERT 모델의 학습률(learning rate), 배치 크기(batch size), 에포크 수(epoch number) 등의 하이퍼파라미터를 조정하여 모델의 성능을 최적화할 수 있습니다.
3. 전이 학습 전략 개선: 사전 훈련된 BERT 모델을 미세 조정할 때, 특정 도메인(예: 영화 리뷰)에 맞게 추가적인 사전 훈련을 수행함으로써 모델이 관련 분야의 언어 패턴을 더 잘 이해하도록 할 수 있습니다.

Vertex AI에서 모델을 배포하고 예측을 수행하는 과정에서 마주칠 수 있는 도전과 해결 방법:

1. 배포 지연: 모델을 엔드포인트에 배포하는 데 시간이 걸릴 수 있습니다. 이를 해결하기 위해서는 비동기 처리 방법을 사용하거나, 필요한 리소스를 미리 확보하는 등의 전략을 계획할 수 있습니다.
2. 확장성 문제: 트래픽이 많은 시간대에 모델의 응답 시간이 길어질 수 있습니다. 이를 위해 자동 스케일링 기능을 활용하거나, 여러 지역에 모델을 배포하여 부하를 분산시킬 수 있습니다.
3. 비용 관리: 온라인 예측 서비스를 지속적으로 운영할 경우 비용이 증가할 수 있습니다. 비용을 효율적으로 관리하기 위해 사용량에 따라 인스턴스를 조정하거나, 비용 효율적인 인스턴스 타입을 선택할 필요가 있습니다.

BERT 모델을 사전 훈련 가능하게 설정하는 것의 장단점 및 조정 필요성:

1. 장점: 모델이 특정 데이터셋에 대해 더 깊이 학습할 수 있어, 성능이 향상될 수 있습니다. 새로운 데이터의 특징을 모델이 더 잘 파악하고 반영할 수 있도록 합니다.
2. 단점: 모델을 미세 조정할 때 과적합(overfitting)의 위험이 있으며, 훈련 시간과 계산 비용이 증가할 수 있습니다. 또한, 작은 데이터셋에서는 모델이 훈련 데이터에 지나치게 최적화되어 일반화 성능이 떨어질 수 있습니다.
3. 조정 필요성: 큰 데이터셋을 사용할 때는 모델을 미세 조정하여 초기 가중치를 업데이트하는 것이 유리할 수 있습니다. 반면, 작은 데이터셋이나 과적합이 우려되는 상황에서는 미세 조정을 하지 않고, 사전 훈련된 모델의 가중치를 그대로 사용하는 것이 더 나을 수 있습니다.