업무 · LabQ
MR Assistant - 제약 영업 지원 AI 챗봇
대형 제약 그룹 MR 영업 지원
- 기간
- 2025.07 ~ 2026.02약 7개월
- 역할
- AI 파트 리드 / 팀 PL
- 팀
- 팀원 3명 + 글로벌 컨설팅사 RA 5~6명 리딩
- 상태
- 완료
- 응답 속도
- 평균 30초평균 3분 이상에서 · 83% 개선
- 답변 커버리지
- 100%30%에서 · 233% 향상
- 답변 품질
- 고객 정성 평가 통과반복 개선 후 승인
배경
대형 제약 그룹의 MR 조직을 위한 AI 챗봇. 영업활동 기록, 제품 정보 검색, 고성과자 노하우 공유를 통한 성과 향상 지원. 제약 도메인 특화 RAG 기반 질의응답 시스템.
- 생산성 향상 목표
MR 인당 생산성 향상
- 4R 전략
- Right Target: 적절한 타겟 고객 식별 및 추천
- Right Product: 고객 상황에 맞는 적절한 제품 추천
- Right Message: 효과적인 메시지 전달 전략 제공
- Right Timing: 최적의 타이밍 제안
한 일
아키텍처 변화
V1: 완전 Chain 방식
- 문제
- Orchestrator + Chain 방식으로 지나치게 지엽적
- 설계된 specific한 질문만 답변 가능
- 대부분의 실제 사용자 질의에 대답 불가
V2: Multi-Agent Supervisor 전환
- 문제
- 많은 개발자들이 설계 의도대로 구현하지 못함
- 아키텍처 이해도 부족으로 인한 구현 오류
- 결정
- Agentic Supervisor Multi-Agent 아키텍처로 전환
- Supervisor가 사용자 질문 분석 후 적절한 Agent 호출
V3: 완전 재설계
- 결정
- Agent 구조, init, tool까지 직접 제작하여 배포
- 개발자들이 그대로 사용할 수 있도록 완성된 형태로 제공
- Chain + Agentic 하이브리드 구조
- 결과
- 상단 핵심 지표(응답 속도, 답변 커버리지, 답변 품질)가 이 구조에서 달성됨
담당 업무
AI 파트 리딩 및 멀티 팀 협업
- 컨설팅사 PM 다음으로 AI 파트 전체 리더 역할
- 컨설팅사 RA 5~6명 (3개월 로테이션, 총 15명) 업무 분담 및 관리
- 팀원 3명 PL 역할 (요구사항 분석, 일정 관리, 코드 리뷰)
- 추진팀, 인프라팀, 보안팀, QA팀, 백엔드, 프론트 등 다수 팀과 협업 및 조율
서비스 아키텍처 재설계
- LangGraph 기반 Multi-Agent Supervisor 구조로 전환
- Supervisor Agent: 사용자 질문 분석 및 적절한 하위 에이전트 호출
- 다양한 Tool Agent 설계 및 구현 (MariaDB 조회, Qdrant 검색, Redshift 분석 등)
- Chain + Agentic 하이브리드 구조 구현
Vector Database 교체
- LanceDB → Qdrant 마이그레이션
- 하이브리드 검색 (Dense + Sparse) 구현
- 컬렉션 관리 및 임베딩 파이프라인 재구축
- 검색 정확도 및 속도 향상
성능 고도화
- 비동기 처리, 캐싱 전략 (Redis, Qdrant)
- 병렬처리 및 Forward Tool 적용
- Agent 워크플로우 최적화
- 실시간 스트리밍 응답 구현 (SSE)
문제와 해결
- 대규모 인력 관리
- 다수 인턴급 RA(15명) + 타 업체 개발자 코드 리뷰 및 관리. V3 아키텍처로 완성된 구조 제공, 명확한 가이드라인 제시로 극복
- 대기업 보안 정책
- 방화벽 신청 → 승인 → 작업 완료까지 시간이 오래 걸림. 사전에 모든 담당자 파악, 직접 커뮤니케이션으로 극복
- 대규모 협업의 어려움
- 약 10개 팀과 빈번한 회의, 오래 걸리는 의사결정. 명확한 문서화 및 사전 조율, 변경 최소화 전략으로 극복
배운 점
- 아키텍처 설계의 중요성: 개발자들이 이해하고 따라할 수 있는 명확한 구조 제공
- 고객 중심 개발: 약 10회 반복 개선 사이클로 고객 정성 평가 통과
- 대기업 문화 이해: 변경 최소화 전략, 사전 조율 및 명확한 문서화
- 성능 최적화 경험: 병목 지점 정확히 파악하고 단계적으로 개선
- 멀티 팀 협업: 각 분야 최고 전문가들의 일하는 방식을 직접 관찰하고 배움
- 기술 깊이의 중요성: LLM 고유명사 오표기 문제를 토크나이저 레벨까지 분석
기술 스택
- 백엔드
- FastAPIPython
- 데이터베이스
- MariaDBQdrant (Vector DB)AWS RedshiftRedis
- AI/ML
- LangChainLangGraphAzure OpenAI API
- 인프라
- AzureDocker
- 협업
- SlackJiraConfluence