Skip to content
logo

#Optimization

2 notes

챗봇 성능 최적화: 캐싱 전략으로 비용 절감과 속도 향상2025-09-07

AI 챗봇의 비용을 최대 90%까지 절감하고 응답 속도를 80% 향상시키는 프롬프트 캐싱, 시맨틱 캐싱, 딕셔너리 캐싱 전략을 상세히 분석하고 실제 구현 방법을 제시합니다.

LLM Compiler for Parallel Function Calling2025-01-26

LLM 기능 호출을 병렬로 처리하여 지연 시간과 비용을 줄이는 LLM Compiler 연구에 대한 검토