Syshin0116 홈
프로젝트 목록

업무 · LabQ

그린텍 하수처리 수질 예측 AI

하수처리공정 수질 예측 및 이상탐지

기간
2024.07 ~ 2024.11약 4개월
역할
PL (팀 2명: 본인 포함)
팀
개발자 2명
상태
완료
T-N 방류수 예측
R² 0.9244RandomForest
TOC 방류수 예측
R² 0.8640CatBoost

배경

하수처리장의 공정 단계별 수질 예측 모델 개발 및 실시간 이상 탐지 시스템. 19개 타겟 변수에 대한 예측 모델 구축으로 품질 Hunting 최소화 및 안정 운전 지원.

한 일

주요 기능

수질 예측 모델 개발

  • RandomForest 회귀 모델: T-N 방류수 예측에서 가장 높은 성능
  • LightGBM, XGBoost, CatBoost 앙상블 모델
  • PyTorch 기반 LSTM, GRU 딥러닝 모델
  • ARIMA, SARIMA 시계열 모델
  • Optuna 하이퍼파라미터 튜닝

이상 탐지 시스템

  • PyOD 기반 10+ 알고리즘 실험 (Isolation Forest, LOF, CBLOF)
  • COMBO 앙상블 이상 탐지
  • 이상치 스코어 계산 및 임계값 설정
  • 실시간 모니터링 및 알림

시각화 대시보드

  • Plotly Dash 기반 실시간 모니터링
  • 공정 단계별 수질 예측값 및 실측값 시각화
  • 이상 탐지 알림 표시
  • 자동 분석 리포트 생성

문제와 해결

시계열 데이터 처리
결측치, 이상치가 많은 공정 데이터. 도메인 지식 기반 전처리 및 피처 엔지니어링으로 해결
모델 선택
다양한 ML/DL 모델 실험 필요. 체계적인 실험 관리 및 성능 비교로 최적 모델 도출

결과

  • 19개 타겟 변수 예측 모델 개발 완료
  • 실시간 이상 탐지 시스템 구축 (RandomForest 분류 정확도 98.50%는 불균형 데이터 기준의 참고 지표)
  • 품질 Hunting 최소화로 안정 운전 가능

배운 점

  • 앙상블 모델의 강력함: 단일 모델 대비 성능 향상
  • 도메인 지식의 중요성: 하수처리 공정 이해가 피처 엔지니어링에 핵심
  • 실시간 시스템 구축: 배치 예측과 실시간 모니터링의 차이
  • 클라이언트 커뮤니케이션: 기술 용어를 비즈니스 가치로 전달

기술 스택

머신러닝
RandomForest (scikit-learn)
PyTorch
LightGBM
XGBoost
CatBoost
이상 탐지
PyOD
COMBO
데이터 처리
NumPy
Pandas
Numba
시각화
Matplotlib
Seaborn
Plotly Dash
백엔드
Flask
Gunicorn
시계열
statsmodels
배포
Docker