#nlp

LangChain의 ConversationalRetrievalChain을 활용한 대화형 RAG 시스템 구현 방법과 주요 기능 설명

LayoutLM의 발전 과정과 시각적으로 풍부한 문서 이해를 위한 다양한 버전별 특징 및 성능 분석

LLM(대규모 언어 모델)의 사전 학습, 파인튜닝, 도메인 적응 전략 강의 정리

AI 개발자 채용 면접을 위한 핵심 AI 지식 정리 - Text Embedding, LLM, Semantic Segmentation, MVC 패턴

Transformer는 RNN의 기울기 소실과 고정 크기 컨텍스트 벡터 문제를 Attention 메커니즘으로 해결한 아키텍처다. Q-K-V Attention으로 입력 시퀀스 전체에서 중요 정보를 동적으로 가중하며, Positional Encoding으로 위치 정보를 보완한다. 학습 시 Teacher Forcing을 사용해 수렴 속도를 높인다.