#rag
40개 글
AI-ready 데이터의 오해와 준비 방법
2026-05-29"우리 데이터를 AI-ready로 만들어 달라"는 청소 작업이 아니라 발굴 질문이다. Gartner조차 데이터는 사전에 일반적으로 AI-ready가 될 수 없고 용도가 정해져야 정의된다고 못 박는다. 데모 위의 마법 아래에는 빙산 같은 기반이 있고(Sculley), 업스트림 데이터 준비와 다운스트림 컨텍스트 엔지니어링은 같은 문제의 양 끝이며, 이미 만든 LLM Wiki와 ADR이 곧 그 조직의 AI-ready 데이터 프로덕트다
LLM Wiki와 ADR로 블로그를 누적 지식베이스로 키우기
2026-05-17Karpathy의 LLM Wiki 패턴에 ADR(Architecture Decision Records)을 결합해 개인 블로그를 누적 지식베이스로 발전시키는 방법. 패턴의 원전, 실제 사례 3종, 2026 연구 결과, 실패 모드와 스케일 한계까지 정리한다
블로그 검색 실험 (1) - 검색 방법론 개요와 실험 설계
2026-04-04280개 한국어+영어 블로그 포스트를 테스트베드로 활용하여 다양한 검색 방법론을 실험하는 시리즈의 첫 번째 글. 키워드 검색부터 벡터 검색, 하이브리드 검색까지 각 방법의 원리를 정리하고, 실험 설계와 평가 기준을 수립한다.
OpenDataLoader PDF v2 - Java 기반 Apache 2.0 PDF 파서
2026-03-27OpenDataLoader PDF v2.1.1의 READoc 벤치마크 결과와 파싱 예시를 분석한다. Java 기반 Apache 2.0 파서로, 72.6% Edit Similarity에 ~3초/문서 속도를 보여주지만, 테이블 구조 보존과 수식 LaTeX 변환에 한계가 있다.
Docling - IBM의 MIT 라이선스 문서 파서, 가성비 최강
2026-03-26Docling v2.81.0의 내부 구조를 분석하고 READoc 벤치마크로 성능을 평가한다. IBM Research가 개발한 MIT 라이선스 파서로, Heron 레이아웃 모델과 Granite-Docling VLM을 사용하며, GPU 없이 4.9초/문서에 74.3% Edit Similarity를 달성한다.
LiteParse - LlamaIndex가 오픈소스로 공개한 초경량 PDF 파서
2026-03-26LiteParse는 LlamaIndex가 LlamaParse의 오픈소스 코어로 공개한 TypeScript 기반 PDF 파서다. PDF.js + Tesseract.js로 구현되어 ML 모델 없이 0.1초/문서의 극한 속도를 달성하지만, Markdown 구조화 없이 순수 텍스트만 추출하는 한계가 있다. READoc 벤치마크 결과 50.7%로 구조화 파서 대비 낮은 품질.
Marker - 품질은 최고지만 안정성이 발목 잡는 PDF 파서
2026-03-26Marker v1.10.1의 내부 구조를 분석하고 READoc 벤치마크로 성능을 평가한다. Surya OCR 기반의 ML 파서로, 성공한 문서에서 80.6% Edit Similarity(5개 파서 중 최고)를 달성하지만, 63%의 문서에서 에러가 발생하여 안정성에 문제가 있다.
OmniDocBench로 측정한 PDF 파서별 파싱 성능 - 텍스트, 테이블, 수식, 읽기 순서
2026-03-26OmniDocBench(CVPR 2025)로 MinerU, Docling, Marker 3개 파서의 요소별 파싱 성능을 측정한다. 텍스트 정확도, 테이블 TEDS, 수식 인식, 읽기 순서를 분리하여 평가하며, MinerU가 텍스트/테이블/읽기순서에서 압도적 1위, Marker는 수식에서 강점을 보인다.
PDF 파서 5종 비교 분석 - 같은 문서, 다른 결과
2026-03-26동일한 PDF 문서(Attention Is All You Need)를 MinerU, Docling, Marker, PyMuPDF4LLM, LiteParse 5개 파서로 파싱한 결과를 요소별(헤딩, 테이블, 수식, 이미지)로 직접 비교한다.
PyMuPDF4LLM - 경량 GNN으로 GPU 없이 가장 빠른 PDF 파서
2026-03-25PyMuPDF4LLM v1.27.2.2의 내부 구조를 분석하고, 4종 문서(영문 논문, 한국어 보고서, PPT 슬라이드, 복잡한 레이아웃)로 성능을 테스트한다. 경량 GNN 모델(ONNX)로 레이아웃을 분석하고 규칙 기반으로 텍스트를 추출하여, 페이지당 0.05~0.25초의 압도적 속도를 보여준다.
MinerU 2.x 파이프라인 분석 - 달라진 PDF 파서의 내부 구조와 성능 테스트
2026-03-23MinerU 2.7.6의 내부 파싱 파이프라인을 분석한다. YOLOv10 레이아웃 감지, SLANET+ 테이블 인식, UniMERNet 수식 인식 등 각 모델의 역할과 흐름을 정리하고, Apple Silicon MPS vs CPU 성능을 실측 비교한다.
RAG-Anything 파헤치기 - 멀티모달 GraphRAG의 구조와 원리
2026-03-22RAG-Anything의 내부 구조를 파헤쳐본다. MinerU 파서, LightRAG 기반 지식 그래프 구축, 멀티모달 처리, VLM 강화 쿼리까지 전체 파이프라인을 상세히 분석한다.
blog-rag 프로젝트 개요: 블로그 기반 Modular RAG 시스템
2026-03-06개인 블로그를 지식 베이스로 삼아 Modular RAG 아키텍처를 구축하고, 다양한 검색 모듈 조합을 실험하는 프로젝트.
왜 블로그를 RAG 대상으로, 왜 Modular RAG인가
2026-03-06블로그를 RAG 지식 베이스로 쓰기로 결정한 이유, 그리고 검색 모듈을 조합 가능하게 만들어야 하는 이유.
pgvector: PostgreSQL의 벡터 검색 익스텐션
2025-10-13PostgreSQL에서 벡터 검색을 가능하게 하는 pgvector 익스텐션의 개념, 작동 원리, 인덱스 알고리즘(HNSW), 그리고 다른 벡터 데이터베이스와의 비교를 다룬다.
2025년 pgvector vs Qdrant vs Milvus 상세 성능 비교
2025-10-132025년 최신 버전을 기준으로 pgvector (PostgreSQL 18), Qdrant 1.15, Milvus 2.6의 실제 성능, 기능, 비용을 상세 비교한다. 데이터 삽입, 검색 속도, 필터링, 확장성, 실전 시나리오별 권장사항을 다룬다.
학술 논문 특화 파서 시스템 분석
2025-09-14학술 논문을 위한 전문 문서 파싱 및 RAG 시스템 구축 프로젝트 분석. Upstage Document Parse와 LLM을 활용한 고품질 멀티모달 콘텐츠 추출, 벡터 데이터베이스 구축, 그리고 Multi-Query + Reranker 기반 하이브리드 검색 시스템 구현까지 포괄적으로 다룬다.
MinerU - 고품질 PDF 변환 및 데이터 추출 도구
2025-04-03MinerU는 PDF 문서를 Markdown과 JSON으로 고품질 변환해주는 오픈소스 데이터 추출 도구이다.
LangChain Open Tutorial 프로젝트 회고록
2025-02-24LangChain Open Tutorial 오픈소스 프로젝트 7주간의 기여 경험 회고록
LangChain Open Tutorial - 대화 메모리 관리 시스템
2025-02-01LangChain을 활용한 대화 메모리 관리 시스템 튜토리얼
Modular RAG 아키텍처 설계
2024-10-20LEGO 블록처럼 조합 가능한 Modular RAG 시스템 설계 - 재사용 가능한 RAG 모듈 구축
TeddyNote - Agentic RAG 세미나
2024-09-07Agentic RAG의 개념과 구현 방법을 다룬 TeddyNote 세미나 정리
Podly AI 개발 계획
2024-08-17Podly 프로젝트 AI 기능 개발을 위한 상세 작업 계획 및 Todo 리스트
Knowledge Graphs for RAG
2024-08-15RAG(Retrieval-Augmented Generation) 시스템에서 지식 그래프 활용 방법과 Neo4j 구현
Second Brain 기반 RAG 시스템 구축
2024-08-02Second Brain 개념을 RAG 시스템에 적용하여 개인화된 AI 에이전트 구축하기
문서(pdf 등) 내 시각 자료와 텍스트의 추출 및 활용
2024-07-23멀티모달 RAG를 활용한 PDF 문서 내 시각 자료와 텍스트 추출 및 활용 기법
문서(pdf 등) 내 시각 자료와 텍스트의 추출 및 활용 연구
2024-06-08멀티모달 RAG를 통한 문서 내 텍스트와 이미지 추출 및 활용 연구
LlamaIndex 활용 가이드 온라인 세미나
2024-05-30LlamaIndex의 장점과 실무 활용 방법을 다룬 온라인 세미나 정리
AUTO-RAG 김동규 연구원 세미나
2024-05-29AUTO-RAG 시스템에 대한 김동규 연구원 세미나 정리
RAG용 PDF Loader 비교
2024-05-22LangChain에서 사용 가능한 다양한 PDF Loader 라이브러리들의 특징과 성능을 비교 분석한 문서
Agent 사용 RAG+Tavily
2024-05-05LangChain Agent와 Tavily 검색 엔진을 활용한 고급 RAG 시스템 구현 방법과 활용 사례 분석
RAG+Groq
2024-04-29Groq LPU 모델을 활용한 RAG 시스템 구축 및 성능 특징 설명
LLM Chain Chatbot + RAG
2024-04-11LangChain의 ConversationalRetrievalChain을 활용한 대화형 RAG 시스템 구현 방법과 주요 기능 설명
RAG 구현의 어려움과 해결 방법 - TeddyNote 세미나
2024-03-05RAG 시스템 구현 시 마주하는 실전 문제와 해결 방안 세미나 정리
LangChain for LLM Application Development 강의 노트
2024-03-02LangChain을 활용한 LLM 애플리케이션 개발 강의 전체 내용 정리
LangFlow - 시각적 AI 워크플로우 빌더
LangFlow는 드래그 앤 드롭으로 AI 워크플로우를 구성하는 MIT 라이선스 오픈소스 도구다(68.5k GitHub stars). LangChain 기반으로 RAG, 에이전트, 멀티에이전트 시스템을 시각적으로 설계하고 API로 배포할 수 있으나, 실제로는 low-code 수준의 학습 곡선이 존재한다.
LLM Wiki 패턴
LLM Wiki는 원문을 매번 검색해 답하는 RAG 대신, LLM이 raw 소스를 읽어 지속적으로 갱신되는 Markdown 위키를 컴파일·유지하는 패턴이다. 이 블로그는 이미 원본 글(content/AI, Tools 등)과 정제 레이어(content/wiki)를 분리하고 있으므로, raw→wiki ingest, index/log, lint, wikilink 검증, 자동 PR 루틴을 붙이면 개인 블로그를 누적 지식베이스로 발전시킬 수 있다.
Moonlight AI 논문 리더
Moonlight는 학술 논문 PDF에 AI를 붙여주는 크롬 확장 프로그램이다. 3줄 요약, 자동 하이라이트(기여점/방법론/결과), 드래그 설명, 스마트 인용, Scholar Deep Search(RAG 기반 관련 논문 추천) 기능을 제공하며, 한국 AI 회사 Corca가 개발했다.
Second Brain + RAG 통합
Second Brain(개인 지식 데이터베이스)에 RAG를 적용하면 컨텍스트 기반 정보 검색과 AI 응답 품질이 동시에 향상된다. 지식이 충분히 축적되면 개인 경험을 가진 Multi-Agent 구현도 가능하다는 아이디어다.
블로그 검색 실험
280개 한국어+영어 혼용 블로그 포스트를 테스트베드로 6가지 검색 방법(Ripgrep, BM25, BM25+Kiwi, 벡터 검색, 메타데이터 필터, 하이브리드 퓨전)의 성능을 비교하는 실험 시리즈다. 교착어 한국어의 형태소 분석 필요성, 다국어 임베딩 모델 선택, 하이브리드 퓨전 전략이 핵심 변수다.