728x90 반응형 AI/논문 리뷰2 [논문 리뷰 - Transformer]: Attention is All You Need 두둥 탁,,! 그 유명하고도 유명한 Transformer!오늘은 Transformer 논문, "Attention is All You Need" (Vaswani et al., 2017)을 리뷰하고자 합니다.정말 정말 정말 현대 AI 발전에 가장 큰 기여를 한 모델이라고 생각합니다.워낙 유명하고 오래된 논문이기 때문에 다들 이론적으로 잘 아실 거라고 생각합니다.저는 논문을 빠르게 훑고 정리하는 식으로 요약하고자 합니다.그리고 실제로 전부 구현하는 느낌으로 가보겠습니다. (다음 포스팅에서!!) Abstract 기존의 시퀀스 변환 모델은 복잡한 RNN 또는 CNN 구조를 사용하며, 인코더-디코더 사이에 어텐션을 결합하는 방식이 성능을 이끌어왔습니다. 이 논문은 이러한 복잡한 구조를 버리고 어텐션만으로 구성된 T.. 2025. 6. 4. [논문 리뷰] Sequence to Sequence Learning with Neural Networks 자연어처리(NLP)를 연구하거나 개발해본 사람이라면 한 번쯤 들어봤을 Seq2Seq. 무려 인용수가 29,073회나 되는 논문입니다. (부럽다;;)저도 이 모델을 직접 구현해보기 전에, 그 출발점이 된 논문을 꼼꼼히 읽어보고 핵심 내용을 정리해보았습니다.1. 서론: 이 논문이 중요한 이유2014년 Ilya Sutskever, Oriol Vinyals, Quoc V. Le가 발표한 이 논문은 Sequence to Sequence (seq2seq) 프레임워크를 제안하며, 다양한 NLP 문제(기계번역, 요약, 질문응답 등)의 패러다임을 완전히 바꾸는 계기가 되었습니다.❝ 이 논문은 입력과 출력의 길이가 다르며 복잡한 매핑을 요구하는 문제를 처음으로 End-to-End 방식으로 풀 수 있다는 가능성을 제시한 역.. 2025. 5. 26. 이전 1 다음 728x90 반응형
