#evaluation

3 notes

LLM Text-to-SQL 실전 가이드 - 스키마 설계부터 Eval까지2026-04-19

프로덕션 환경에서 LLM 기반 Text-to-SQL을 구축하면서 배운 것들. 동적 스키마 조회, COMMENT 기반 zero-shot, 보안 레이어, 그리고 52문항 5모델 Eval 결과까지 정리한다.

LLM 기반 Text-to-SQL 시스템을 프로덕션에서 안정적으로 운영하려면 프롬프트 튜닝보다 DB 스키마 품질이 결정적 요소다. 동적 스키마 조회, COMMENT 기반 zero-shot, AST 검증 기반 보안 레이어, 에이전트 위임 방식 self-correction을 조합하면 OLTP 수준 질의에서 높은 정확도를 달성할 수 있다.

블로그 검색 실험

280개 한국어+영어 혼용 블로그 포스트를 테스트베드로 6가지 검색 방법(Ripgrep, BM25, BM25+Kiwi, 벡터 검색, 메타데이터 필터, 하이브리드 퓨전)의 성능을 비교하는 실험 시리즈다. 교착어 한국어의 형태소 분석 필요성, 다국어 임베딩 모델 선택, 하이브리드 퓨전 전략이 핵심 변수다.