[Study Jam] Encoder-Decoder Architecture

구글 클라우드 AI 스터디잼의 Encoder-Decoder Architecture 요약 내용입니다. 시퀀스-투-시퀀스 변환(번역, 요약, 텍스트 생성 등)의 기반이 되는 인코더-디코더 구조를 한곳에 정리합니다.

💡 이런 분들께 추천합니다

• 시퀀스-투-시퀀스 모델을 처음 배우는 분
• 번역·텍스트 생성 모델의 동작 원리를 알고 싶은 분
• RNN·트랜스포머 기반 인코더-디코더를 구분하고 싶은 분

🧩 개념 설명 / 배경 지식

인코더-디코더 구조
입력 시퀀스(예: 영어 문장)를 인코더가 고정 길이 벡터로 압축하고, 디코더가 그 벡터를 이용해 출력 시퀀스(예: 프랑스어 문장)를 순차적으로 생성하는 구조입니다. 언어 번역, 요약, 대화 생성 등에 널리 쓰입니다.

Teacher Forcing
훈련 시 디코더가 다음 토큰을 예측할 때, 이전 스텝의 정답(실제) 토큰을 넣어 주는 방식입니다. 학습 안정성과 수렴에 도움이 됩니다.

🔍 본론: Encoder-Decoder 구조

1. 기본 작동 원리

• 인코더: 입력 시퀀스를 벡터(문맥 표현)로 변환합니다.
• 디코더: 그 벡터를 바탕으로 출력 시퀀스를 한 토큰씩 생성합니다.
• 학습: 입력-출력 쌍 데이터로 학습하며, 출력과 정답 간 오차를 줄이는 방향으로 가중치를 조정합니다.

2. 훈련 방식

• 입력 시퀀스와 정답 출력 시퀀스 쌍으로 학습합니다.
• Teacher Forcing을 쓰면 디코더가 이전 스텝의 정답을 보고 다음 토큰을 예측합니다.

3. 구현 다양성

• 인코더와 디코더는 서로 다른 내부 구조를 가질 수 있습니다(예: 인코더는 RNN, 디코더는 트랜스포머 블록).
• 실습에서는 셰익스피어 데이터로 문자 단위 텍스트 생성기를 만들고, 65개 고유 문자를 토큰으로 사용합니다.

동영상: Encoder-Decoder Architecture Overview
동영상: Encoder-Decoder Lab Walkthrough

⚠️ 주의사항

• 인코더 출력이 고정 길이 벡터이기 때문에, 매우 긴 입력에서는 정보가 한계까지 압축되어 손실될 수 있습니다. Attention을 쓰면 이 한계를 완화할 수 있습니다.

✅ 실습 / 적용 예시

이 글은 개념 요약에 초점을 둡니다. 랩 워크스루에서는 문자 기반 RNN으로 시 생성 예제를 다룹니다. Google Cloud AI 또는 시퀀스-투-시퀀스 튜토리얼을 참고해 실습해 보시면 좋습니다.

🚧 트러블슈팅 / 자주 묻는 질문

Q. 인코더-디코더의 기본 작동 원리는?
A. 인코더가 입력을 벡터로 압축하고, 디코더가 그 벡터를 사용해 타깃 시퀀스를 순차적으로 생성합니다. 시퀀스-투-시퀀스 변환의 기본 구조입니다.

Q. 모델은 어떻게 훈련시키나요?
A. 입력-정답 출력 쌍으로 학습하며, Teacher Forcing으로 디코더에 이전 스텝의 정답 토큰을 넣어 다음 토큰을 예측하게 합니다. 생성 출력과 정답의 차이를 줄이도록 가중치를 업데이트합니다.

Q. 인코더와 디코더를 다른 아키텍처로 쓸 수 있나요?
A. 네. 인코더는 RNN, 디코더는 트랜스포머 블록처럼 서로 다르게 설계할 수 있어, 작업에 맞게 유연하게 구성할 수 있습니다.

📝 마무리

• 인코더-디코더는 시퀀스-투-시퀀스 변환의 핵심 구조입니다.
• Teacher Forcing으로 훈련 안정성을 높일 수 있습니다.
• 다음에는 Attention, Transformer, BERT를 이어서 학습해 보시면 좋습니다.