업무 · LabQ
그린텍 하수처리 수질 예측 AI
하수처리공정 수질 예측 및 이상탐지
- 기간
- 2024.07 ~ 2024.11약 4개월
- 역할
- PL (팀 2명: 본인 포함)
- 팀
- 개발자 2명
- 상태
- 완료
- T-N 방류수 예측
- R² 0.9244RandomForest
- TOC 방류수 예측
- R² 0.8640CatBoost
배경
하수처리장의 공정 단계별 수질 예측 모델 개발 및 실시간 이상 탐지 시스템. 19개 타겟 변수에 대한 예측 모델 구축으로 품질 Hunting 최소화 및 안정 운전 지원.
한 일
주요 기능
수질 예측 모델 개발
- RandomForest 회귀 모델: T-N 방류수 예측에서 가장 높은 성능
- LightGBM, XGBoost, CatBoost 앙상블 모델
- PyTorch 기반 LSTM, GRU 딥러닝 모델
- ARIMA, SARIMA 시계열 모델
- Optuna 하이퍼파라미터 튜닝
이상 탐지 시스템
- PyOD 기반 10+ 알고리즘 실험 (Isolation Forest, LOF, CBLOF)
- COMBO 앙상블 이상 탐지
- 이상치 스코어 계산 및 임계값 설정
- 실시간 모니터링 및 알림
시각화 대시보드
- Plotly Dash 기반 실시간 모니터링
- 공정 단계별 수질 예측값 및 실측값 시각화
- 이상 탐지 알림 표시
- 자동 분석 리포트 생성
문제와 해결
- 시계열 데이터 처리
- 결측치, 이상치가 많은 공정 데이터. 도메인 지식 기반 전처리 및 피처 엔지니어링으로 해결
- 모델 선택
- 다양한 ML/DL 모델 실험 필요. 체계적인 실험 관리 및 성능 비교로 최적 모델 도출
결과
- 19개 타겟 변수 예측 모델 개발 완료
- 실시간 이상 탐지 시스템 구축 (RandomForest 분류 정확도 98.50%는 불균형 데이터 기준의 참고 지표)
- 품질 Hunting 최소화로 안정 운전 가능
배운 점
- 앙상블 모델의 강력함: 단일 모델 대비 성능 향상
- 도메인 지식의 중요성: 하수처리 공정 이해가 피처 엔지니어링에 핵심
- 실시간 시스템 구축: 배치 예측과 실시간 모니터링의 차이
- 클라이언트 커뮤니케이션: 기술 용어를 비즈니스 가치로 전달
기술 스택
- 머신러닝
- RandomForest (scikit-learn)PyTorchLightGBMXGBoostCatBoost
- 이상 탐지
- PyODCOMBO
- 데이터 처리
- NumPyPandasNumba
- 시각화
- MatplotlibSeabornPlotly Dash
- 백엔드
- FlaskGunicorn
- 시계열
- statsmodels
- 배포
- Docker