Chapter.9 최종 실전 자동화 프로젝트 (16)

TIL(Today I Learned)

---

1️⃣최종 프로젝트(14)

멘토링 피드백 정리

1. 피처 중요도 1위가 정체불명 (가장 큰 문제)

• 모델을 가장 크게 좌우하는 변수가 "기타 아날로그 신호"인데, 이게 뭔지 모름
• 정체를 모르면 원인 분석·해석·보고서가 전부 불가능 → "같은 질문 받으면 논리가 바로 무너진다"

2. 처방: 과감하게 제거

• 도메인 담당자에게 물어볼 수 없으면, 식별 가능한 컬럼만으로 다시 모델링
• 정체 모를 변수를 붙들면 오히려 설득력이 떨어짐

3. 회귀-분류 성능 불일치

• 회귀는 무너졌는데 분류(F1 macro)는 잘 나오는 게 말이 안 됨 → 재검증 필요

4. 우선순위 재조정

• 비정상 정밀 검사·대시보드는 나중에. 지금은 데이터 정리 후 재실행이 먼저
• "새로운 마음으로 확실히 식별되는 데이터 기준으로만 다시 잡아라" -> 데이터의 명확성 확보

긍정적 평가

• PPT 정리 상태가 매우 좋음
• UMAP·시간 드리프트 분석 잘함 ("시간이 랜덤이 아니라 특정 구간에 몰림"을 잘 짚음)

미해결

• A_31의 nested CV vs train-test split 질문은 명확한 답을 못 받음 ("다 다시 돌려봐야 판단 가능"으로 유보)

---

💡 느낀점

처음 비식별 컬럼으로 데이터를 제공받았을 때 정한 파이프라인으로 진행하다 보니, 이후에 식별 컬럼을 받고 적용했을 때 생길 수 있는 오류나 데이터의 불확실성을 제거하지 못하였다. '기타 아날로그 신호'라는 명확하지 못한 신호를 처음에는 이것도 근거가 될 수 있지 않을까? 싶었지만, 멘토링을 진행한 후 식별 가능한 유효한 센서 데이터를 기준으로 더욱 정직한 모델을 구성해야 함을 깨달을 수 있었다. 추후에는 매칭된 컬럼들을 면밀히 분석하고, 특정되는 센서데이터 항목들을 기반으로 진행을 해 볼 예정이다.