Chapter.9 최종 실전 자동화 프로젝트 (13)

TIL(Today I Learned)

---

1️⃣최종 프로젝트(11)

중간 발표 및 멘토링 피드백

1. EDA · 전처리

잘한 점

• 가설 3개(제품군별 센서 구성 · 라인별 활성 센서 · 제품군별 핵심 인자)를 먼저 세우고 교차표 · 유사도 · t-SNE로 검증한 뒤 전처리를 결정한 구조가 핵심을 잘 꿰뚫음.
• 결측을 오류가 아닌 구조로 읽어 전역 대치를 배제, A군 · T-O군 공통 센서 0개를 근거로 독립 모델을 택한 판단이 특히 좋음.

보완 & 대응

• ① “60% 이하 남은 결측은 뭘로 채웠나?” → 이미 답 있음, 명시만 하면 됨.
  • 답: 안 채웠음. LightGBM · XGBoost는 결측을 native로 학습, RandomForest만 중앙값 대치(베이스라인 4종 슬라이드에 이미 기재).
  • 할 일: 슬라이드/각주로 명시 — "결측은 정보(MNAR)"라는 H1 논리와 연결해 “그래서 대치하지 않고 트리모델에 맡겼다” 한 문장 추가.
• ② “시간축 안정성 점검” → 이미 아는 이슈, 지금 실행 가능.
  • 파악한 사실: TIMESTAMP는 있으나 시간순 정렬 안 됨(단조성 A_31 0.53 / TO_31 0.25), random KFold가 인접 시점을 섞어 시간 누수 위험.
  • 할 일: TimeSeriesSplit(또는 “앞 기간 학습 → 뒤 기간 예측”) 분할로 R² 유지 여부 확인. 데이터 있으니 바로 실행 가능.

---

2. 모델링 · 평가

잘한 점

• Nested CV(Outer 3 × Inner 3)로 피처 선택과 채점 분리, permutation 중요도를 SHAP으로 교차확인, 1-SE 규칙으로 피처 수 결정 — 교과서적이고 근거 슬라이드까지 있어 설득력 높음.

보완 & 대응

• “Nested 0.55/0.56 vs 최종 발표 0.771/0.647, 어느 게 진짜?” → 멘토 지적 100% 타당.
  • 다른 트랙(분류) 감사에서 겪은 것과 동일 패턴: leaky CV 0.756 vs nested 0.750 vs 다seed 정직추정 0.72.
  • 할 일: 정직한 배포 기대 성능 = Nested 값(R² 0.55~0.56) 으로 스스로 규정. 0.771/0.647은 “피처 선택 확정 후 재학습 성능(참고치·낙관적 상한)” 으로 라벨 변경. 텍스트만 바꾸면 되므로 오늘 중 가능.

---

3. 결과 해석 · 보고

잘한 점

• 예측-실제 산점도 + 잔차 분석으로 회귀 진단, A/T-O 성능 차를 t-SNE 분리도와 연결해 “모델이 아닌 데이터의 한계” 로 귀속한 논증이 인상적.

보완 & 대응

• “t-SNE 민감도 확인 + UMAP 교차확인 필요”
  • 할 일: perplexity 2~3개 값(예: 15/30/50) 재실행 + UMAP 1회로 “TO_31 혼재” 결론 유지 여부 확인. 지금 코드로 실행 가능.

---

4. 종합 — 최종까지 요청 3가지

성실한 설계에 매 단계 근거를 붙여 설득력이 높음. 마무리로:

① 성능 숫자의 정직한 위계 → 위 2번과 동일, 오늘 중 정리 가능.

② 숫자의 번역(상대지표 + Ensemble 재현성) → 계산 완료.

제품RMSENRMSE(범위 대비)RMSE/std

A_31	0.00466	5.98%	0.473
TO_31	0.00272	5.58%	0.583

• 이 표를 슬라이드에 추가하면 “RMSE 0.00466이 무슨 의미냐” 에 바로 답 가능.
• Ensemble 구성(어떤 3모델을 어떤 비율로 평균했는지)도 재현 가능하게 명시 필요 — 팀원이 노트북에서 확인해 기재.

③ 스토리의 완결(현장 적용 방안) → 멘토가 이전에도 강조(“대시보드·모니터링, 포트폴리오 우선순위 높음”)한 것과 동일.

• 할 일: 구체 시나리오 1장 추가 — “예측 Y_Class를 MES에 실시간 연동 → 불량 예측 시 알람 → Vital Few 센서값을 공정 엔지니어에게 피드백”.

---

오늘 바로 실행 가능한 항목 체크리스트

• [ ] 결측 처리 방식(트리 native / RF 중앙값) 슬라이드 명시
• [ ] TimeSeriesSplit로 시간축 성능 유지 확인
• [ ] 성능 위계 재라벨(Nested=기대성능 / 0.771=참고 상한)
• [ ] t-SNE perplexity 민감도 + UMAP 교차확인
• [ ] NRMSE 상대지표 표 추가 & Ensemble 구성 명시
• [ ] 현장 적용 시나리오 1장(MES 연동) 추가

---

💡 느낀점

논리적인 흐름과 근거에 따라 구성하여 이 부분이 중간 발표에서 강점이 될 수 있었다. 피처 선택에서 교차검증을 사용하여 정직하게 걸러냈지만 선택된 것들을 바로 모델링에 적용하면 부풀려질 수 있다는 것 또한 확인할 수 있었다. 추후에는 시계열 부분을 활용하고, 시각화 또한 교차검증이 가능하게 명시하여 더욱 정직한 모델링을 진행할 예정이다.