AI Researcher 여정기

요즘 LLM은 너무 쉽게 사용할 수 있다.ChatGPTClaudeGemini수많은 오픈소스 모델하지만 문득 이런 생각이 들었다..!LLM을 직접 만들어본 사람은 얼마나 될까? 우리는 보통 모델을 사용하지만 모델을 직접 만드는 경험은 완전히 다른 이야기다. 그래서 이번 프로젝트의 목표는 단순했다.LLM을 처음부터 끝까지 직접 만들어보자.모델 아키텍처 설계Transformer 구현PretrainingMid-trainingInstruction tuning논문에서만 보던 것들을 직접 구현하고 학습시켜보기로 했다. 그 결과물이 바로🫧 KoGumKoGum은 💡Korean + Gum의 합성어다. 껌이 풍선처럼 점점 커지듯이작은 모델에서 시작해서 점점 성장하는 모델이라는 의미를 담았다. 이번 프로젝트에서 만든 모델..

오늘은 대규모 언어 모델(LLM) 이 사람들의 복잡한 지시를 더 잘 이해하고 수행하도록 만드는 방법을 다룬 흥미로운 논문, WizardLM을 소개해보려고 합니다. 우리가 ChatGPT 같은 모델을 쓰다 보면 이런 경험 있죠?“이 모델… 말은 잘하는데, 내 요구를 정확히 이해한 건가…?”이 문제의 핵심은 바로 Instruction Tuning(지시문 학습)입니다.그리고 WizardLM은 여기서 한 단계 더 나아가 “AI가 스스로 더 어려운 지시문을 만들어서 학습한다”는 아이디어를 제시합니다. 사실 이 논문은 2023년에 나온 꽤 오래된 논문인데요..! LLM을 공부하다 보면 자연스레 합성 데이터 생성에 대해 관심이 많아지고 이 논문은 그 합성 데이터 생성의 혁신을 불러일으킨 논문입니다.1. Abstract..

2026년도 1월이 벌써 절반이 지나갔습니다.지금부터라도 매주 일요일마다 다음 주를 위한 계획을 세우고,지난 한 주를 돌아보는 기록을 남기려 합니다.이 기록은 AI Research Engineer의 성장 로그를 남기기 위한 주간 리포트입니다.매주 일요일마다:지난 주를 회고하고다음 주의 목표를 명확히 하며기술적으로 무엇을 다뤘는지 기록합니다.1. 다음 주 계획 (1월 19일 ~ 1월 25일) 💼 업무 (회사)그룹사 2곳 Apps SDK 테스트 완료📚 학습 / 연구처음하는 파이썬 백엔드 FastAPI 입문 강의 수강파이썬 입문 & 크롤링 기초 부트캠프 강의 수강Single GPU 환경에서 PEFT 코드 체화🧠 자기관리퇴근 후 신문 읽기주 5회 이상 헬스장 출석유산소 운동 주 5회영양제 챙겨 먹기다이어트..

오랜만에 티스토리에 글을 남긴다. 돌아보면, 2025년은 내 커리어에서 여러 갈림길이 겹쳐 있던 해였다. 증명하고, 준비하고, 연결된 해. 연구자로서 붙잡아 온 문제의식이 하나의 결과로 확정되었고, 그 결과를 발판 삼아 산업계로 나아가기 위한 준비를 본격적으로 시작했다. 그리고 여름에 참여한 하나의 프로젝트가 사람과의 인연으로 이어지며, 결국 지금의 자리까지 자연스럽게 연결되었다.증명 — 연구자로서의 마침표NAACL 2025 논문은 2025년에 시작된 일이 아니었다. 2024년 10월 ACL ARR에 논문을 제출했고, 11월에 받은 리뷰 결과는 예상보다 긍정적이었다. 그 흐름을 이어 12월에 NAACL로 리서브밋했고, 2025년 1월 말 최종 Accept를 받았다. 그 순간의 감정은 단순한 성취감보다는..

안녕하세요!😊최근까지 테디노트 RAG 비법노트 정리와 Agent 관련 글을 열심히 쓰고 있었는데, 오늘은 잠시 그 연재를 멈추기로 했습니다.이유는 단 하나—요즘 제가 정말 강하게 끌리는 분야가 생겼기 때문입니다.바로 LLM(대규모 언어 모델) 그 자체를 깊이 있게 공부하는 일입니다.알고 보니, 내가 진짜 관심 있는 건 “모델 내부”였다Transformer가 어떻게 작동하는지, Attention이 무엇인지,이런 기본적인 구조는 이미 이해하고 있습니다.그런데 프로젝트를 진행하면서 깨달은 것이 있습니다.“내가 진짜 알고 싶은 건, LLM이 어떻게 훈련되고,왜 이런 응답을 하고,어떤 요소들이 성능을 좌우하는가 하는 부분이구나.” RAG, Agent, LangChain—all fun. 하지만 결국 근본은 언어 ..

어제는 AI Agent가 어떻게 발전해왔는지, CoT → ReAct → Agentic Architecture로 이어지는 흐름을 정리했습니다.오늘은 실제 에이전트를 구성할 때 중요한 프레임워크인 LangGraph의 핵심 개념과 구조를 살펴보겠습니다.LangGraph란 무엇인가?LangGraph는 “상태(State)를 기반으로 한 에이전트의 사고 흐름을 그래프로 표현하는 프레임워크” 입니다.일반적인 LLM 호출은 다음과 같은 단일 요청-응답 구조입니다:Input → LLM → Output하지만 에이전트는 작업을 한 번에 끝내지 않습니다.계획 → 행동 → 반성 → 반복 의 과정을 거치며 상태가 누적됩니다.LangGraph는 이 상태 변화 과정을 명확하고 안전하게 표현할 수 있도록다음의 요소로 구성됩니다:Sta..

첫날은 코드보다 개념에 집중해, AI Agent의 발전 과정과 흐름을 정리해보고자 한다.1. AI Agent, 왜 주목받고 있을까?최근 AI의 화두는 더 이상 “모델의 성능”이 아니다.LLM을 어떻게 ‘에이전트’로 발전시킬 수 있는가가 새로운 주제다.ChatGPT, Claude, Gemini 같은 LLM은 매우 강력하지만,여전히 “한 번의 프롬프트 → 한 번의 응답”이라는정적(Static) 구조에 머물러 있다.💬 에이전트란?단순히 답을 생성하는 모델이 아니라,상태(state) 를 유지하며 목표(goal) 를 향해스스로 계획(plan) 하고 행동(act) 하며 반성(reflect) 하는 시스템이다.2. 에이전트의 발전 단계AI의 진화는 “모델 중심”에서 “시스템 중심”으로 옮겨가는 과정이었다. 단계시대핵..

안녕하세요! 테디노트님의 RAG 비법노트 37일차 학습 기록입니다.오늘은 어제(36일차)까지 배운 OpenAI 임베딩을 한 단계 발전시켜, 임베딩을 캐싱(Cache) 하는 방법을 실습했습니다.RAG 파이프라인에서는 문서를 임베딩할 때마다 모델이 호출되기 때문에, 동일한 데이터를 여러 번 처리하면 비용과 시간이 낭비됩니다.이를 해결하는 방법이 바로 CacheBackedEmbeddings 입니다.1. CacheBackedEmbeddings란?CacheBackedEmbeddings는 임베딩 결과를 저장해두었다가같은 텍스트를 다시 임베딩할 때 모델을 재호출하지 않고 캐시된 결과를 사용하는 래퍼(wrapper) 클래스입니다.즉, “이미 계산된 임베딩은 다시 계산하지 않는다”는 개념입니다.이 방식은 특히 대량 문서..