Syshin0116 홈
프로젝트 목록

업무 · LabQ

MR Assistant - 제약 영업 지원 AI 챗봇

대형 제약 그룹 MR 영업 지원

기간
2025.07 ~ 2026.02약 7개월
역할
AI 파트 리드 / 팀 PL
팀
팀원 3명 + 글로벌 컨설팅사 RA 5~6명 리딩
상태
완료
응답 속도
평균 30초평균 3분 이상에서 · 83% 개선
답변 커버리지
100%30%에서 · 233% 향상
답변 품질
고객 정성 평가 통과반복 개선 후 승인

배경

대형 제약 그룹의 MR 조직을 위한 AI 챗봇. 영업활동 기록, 제품 정보 검색, 고성과자 노하우 공유를 통한 성과 향상 지원. 제약 도메인 특화 RAG 기반 질의응답 시스템.

생산성 향상 목표

MR 인당 생산성 향상

4R 전략
  • Right Target: 적절한 타겟 고객 식별 및 추천
  • Right Product: 고객 상황에 맞는 적절한 제품 추천
  • Right Message: 효과적인 메시지 전달 전략 제공
  • Right Timing: 최적의 타이밍 제안

한 일

아키텍처 변화

  1. V1: 완전 Chain 방식

    문제
    • Orchestrator + Chain 방식으로 지나치게 지엽적
    • 설계된 specific한 질문만 답변 가능
    • 대부분의 실제 사용자 질의에 대답 불가
  2. V2: Multi-Agent Supervisor 전환

    문제
    • 많은 개발자들이 설계 의도대로 구현하지 못함
    • 아키텍처 이해도 부족으로 인한 구현 오류
    결정
    • Agentic Supervisor Multi-Agent 아키텍처로 전환
    • Supervisor가 사용자 질문 분석 후 적절한 Agent 호출
  3. V3: 완전 재설계

    결정
    • Agent 구조, init, tool까지 직접 제작하여 배포
    • 개발자들이 그대로 사용할 수 있도록 완성된 형태로 제공
    • Chain + Agentic 하이브리드 구조
    결과
    • 상단 핵심 지표(응답 속도, 답변 커버리지, 답변 품질)가 이 구조에서 달성됨

담당 업무

AI 파트 리딩 및 멀티 팀 협업

  • 컨설팅사 PM 다음으로 AI 파트 전체 리더 역할
  • 컨설팅사 RA 5~6명 (3개월 로테이션, 총 15명) 업무 분담 및 관리
  • 팀원 3명 PL 역할 (요구사항 분석, 일정 관리, 코드 리뷰)
  • 추진팀, 인프라팀, 보안팀, QA팀, 백엔드, 프론트 등 다수 팀과 협업 및 조율

서비스 아키텍처 재설계

  • LangGraph 기반 Multi-Agent Supervisor 구조로 전환
  • Supervisor Agent: 사용자 질문 분석 및 적절한 하위 에이전트 호출
  • 다양한 Tool Agent 설계 및 구현 (MariaDB 조회, Qdrant 검색, Redshift 분석 등)
  • Chain + Agentic 하이브리드 구조 구현

Vector Database 교체

  • LanceDB → Qdrant 마이그레이션
  • 하이브리드 검색 (Dense + Sparse) 구현
  • 컬렉션 관리 및 임베딩 파이프라인 재구축
  • 검색 정확도 및 속도 향상

성능 고도화

  • 비동기 처리, 캐싱 전략 (Redis, Qdrant)
  • 병렬처리 및 Forward Tool 적용
  • Agent 워크플로우 최적화
  • 실시간 스트리밍 응답 구현 (SSE)

문제와 해결

대규모 인력 관리
다수 인턴급 RA(15명) + 타 업체 개발자 코드 리뷰 및 관리. V3 아키텍처로 완성된 구조 제공, 명확한 가이드라인 제시로 극복
대기업 보안 정책
방화벽 신청 → 승인 → 작업 완료까지 시간이 오래 걸림. 사전에 모든 담당자 파악, 직접 커뮤니케이션으로 극복
대규모 협업의 어려움
약 10개 팀과 빈번한 회의, 오래 걸리는 의사결정. 명확한 문서화 및 사전 조율, 변경 최소화 전략으로 극복

배운 점

  • 아키텍처 설계의 중요성: 개발자들이 이해하고 따라할 수 있는 명확한 구조 제공
  • 고객 중심 개발: 약 10회 반복 개선 사이클로 고객 정성 평가 통과
  • 대기업 문화 이해: 변경 최소화 전략, 사전 조율 및 명확한 문서화
  • 성능 최적화 경험: 병목 지점 정확히 파악하고 단계적으로 개선
  • 멀티 팀 협업: 각 분야 최고 전문가들의 일하는 방식을 직접 관찰하고 배움
  • 기술 깊이의 중요성: LLM 고유명사 오표기 문제를 토크나이저 레벨까지 분석

기술 스택

백엔드
FastAPI
Python
데이터베이스
MariaDB
Qdrant (Vector DB)
AWS Redshift
Redis
AI/ML
LangChain
LangGraph
Azure OpenAI API
인프라
Azure
Docker
협업
Slack
Jira
Confluence