Syshin0116 홈
프로젝트 목록

개인

Podly - AI 기반 맞춤형 음성 뉴스 서비스

AI 음성 뉴스 및 관심사 정보 제공

기간
2024.08 ~ 2024.09약 2개월
역할
팀장 / AI 및 백엔드 개발 (팀 4명)
팀
팀 프로젝트 (4명)
상태
완료

배경

이동 중 터치 없이 음성만으로 맞춤형 뉴스를 청취할 수 있는 AI 서비스. 음성 인식, 자연어 처리, TTS, RAG 기술을 종합한 종합 AI 플랫폼. 고령층 및 시각장애인의 디지털 정보 접근성 향상.

한 일

주요 기능

음성 인식 및 자연어 처리

  • OpenAI Whisper 음성→텍스트 변환
  • 다양한 LLM 모델 테스트 (GPT, Solar, Gemma2, Phi, Llama)
  • 실시간 질의응답 및 콘텐츠 생성
  • 개인화 추천 시스템

RAG 기반 뉴스 큐레이션

  • 외부 문서에서 관련 정보 검색
  • 실시간 주요 뉴스 요약
  • 맞춤형 뉴스 큐레이션 (사용자 관심사 기반)
  • 심층 질의응답 (Q&A): 뉴스 원문 기반 답변

TTS 및 목소리 변환

  • ElevenLabs, TypeCast 고급 TTS
  • 자연스럽고 감정이 담긴 음성 생성
  • 다양한 목소리 옵션 (성우, 유명인)

공공데이터 활용

  • 정부 및 공공기관 데이터 수집
  • Pandas, NumPy 데이터 분석
  • Tableau, Power BI 시각화
  • 위치 기반 날씨, 개인 일정 반영

문제와 해결

LLM 모델 선택
다양한 LLM 모델(GPT, Solar, Gemma2, Phi, Llama) 비교 실험. 비용, 속도, 품질 균형 찾기
TTS 품질
자연스러운 음성 생성. ElevenLabs와 TypeCast 조합으로 해결

결과

  • 음성 명령 기반 뉴스 서비스로 터치 없는 정보 소비 경험 제공
  • RAG 기법으로 최신 정보와 개인화 추천 결합
  • 다양한 LLM 모델 테스트 및 최적 모델 선택 경험
  • 공공데이터 활용 신뢰성 높은 콘텐츠 제작

배운 점

  • 음성 인터페이스 설계: 터치 없는 경험의 UX
  • 다양한 LLM 모델 비교 및 선택 기준
  • TTS 기술: 자연스러운 음성 생성의 어려움
  • 사회적 가치: 디지털 격차 해소 및 접근성 향상
  • 시장성 분석: 음성 인식 및 LLM 시장 전망

기술 스택

백엔드
FastAPI
Python
프론트엔드
Flutter (Dart)
AI/ML
LangChain
RAG
OpenAI API
Upstage Solar
Google Gemma2
Microsoft Phi 3.5
Meta Llama 3.1
음성
OpenAI Whisper
ElevenLabs TTS
TypeCast TTS
데이터
Pandas
NumPy
Tableau
Power BI
클라우드
GCP

관련 글