Chapter.9 최종 실전 자동화 프로젝트 (14)

TIL(Today I Learned)

---

1️⃣최종 프로젝트(12)

피드백 개선 내역

1. Nested fold 내부에서 모델링 성적 비교
2. 불균형 데이터 가중치 추가
3. 통계검정 추가

Nested 내부 베이스라인 모델링 성적 비교 

• 가중치 추가 후 fold 내부의 모델링 성적 비교

Nested를 통해 피처선택한 뒤 적용한 모델링에 비해 성적이 다소 하락하였지만,
데이터 누수가 없는 정직한 성능으로 적용되었다.

 

가중치 적용후 최적 피처 개수 및 성능

가중치를 설정한 뒤 모델링 성능과 선택되는 피처의 최적 개수가 달라졌다.
선택된 피처 간의 중요도와 상관관계를 분석할 필요성을 느꼈다. 

 

통계검정 추가 

1. 제품군 A와 T/O 분리 정당화 및 T/O 결합 정당화
2. 회귀 모델의 잔차 분석 

A/TO 제품군 분리의 정당성

• Mann-Whitney U: p = 0.3782 -> 유의하지 않음
• Kolmogorov-Smirnov 2-sample: p = 2.266e-08
• Chi-square: p = 1.552e-27

제품군에 따라 등급 분포가 다르다 -> 분리 타당

회귀 잔차 분석 - A

• Shapiro-Wilk(잔차 정규성) : p = 9.419e-10 -> 정규성 위배
• Breusch-Pagan(등분산성) : p = 0.01605 -> 이분산성 보유
• Durbin-Watson(잔차 자기상관): p = 2.024 -> ( 2 근처 = 무자기상관, < 1.5 양의 상관, >2.5 음의 상관)

회귀 잔차 분석 - T/O

• Shapiro-Wilk(잔차 정규성) : p = 7.211e-05 -> 정규성 위배
• Breusch-Pagan(등분산성) : p = 1.005e-05 -> 이분산성 보유
• Durbin-Watson(잔차 자기상관): p = 1.711 -> ( 2 근처 = 무자기상관, < 1.5 양의 상관, >2.5 음의 상관)

---

 

💡 느낀점

피드백에 따라 논리적 근거를 추가하며 부족한 점들이 많았음을 느낄 수 있었다. 단순히 제품별 데이터의 분포만 참조하여 제품군 별 결합 및 분리를 주장하였지만 검정을 진행하며 시각화 및 유의성에 따라 확실한 근거를 추가할 수 있었다.

모델링에서 또한 Nested를 통해 선택된 피처를 단순히 모델에 적용하는 것이 아니라 inner-fold 내부에서 베이스모델을 바꿔가며 적용시켜 정직한 성능으로 지표를 정리할 수 있었다. 추후에는 시계열 데이터 활용과 도메인 결합을 통해 신뢰성을 올려갈 예정이다.