728x90 AI/딥러닝1 Transformer의 학습과정 (Training) 🔍 Transformer의 학습과정 (Training)1. Encoder의 역할입력: 주어진 텍스트 전체번역 태스크에서는 번역 전 텍스트를, 분류 태스크에서는 분류할 텍스트, 질의응답(QA) 태스크에서는 **질문(Query)**을 입력으로 받습니다.작동 방식:텍스트를 **토큰 임베딩(Token Embedding)**과 **위치 임베딩(Position Embedding)**을 통해 고정된 크기의 벡터로 변환합니다.이 벡터는 **Transformer의 인코더(Encoder)**를 거쳐 맥락(Context) 정보를 포함한 인코딩 벡터로 변환됩니다.예시:입력 문장: "고양이가 매트 위에 앉아있어"인코더 입력: "고양이가 매트 위에 앉아있어" → 벡터 변환2. Decoder의 역할⭕ 학습 시 Decoder의 입.. 2025. 2. 26. 이전 1 다음 728x90