Chapter.5 심화 프로젝트(5)

TIL(Today I Learned)

---

1️⃣심화 프로젝트 

1. 모델링 목적

이번 프로젝트에서는 엔진 센서 데이터를 기반으로 차량 결함 유형을 분류하는 머신러닝 모델을 구축하였다.
타겟 변수는 Fault이며, 총 4개의 상태를 예측하는 다중 분류 문제로 설정하였다.

• Fault 0 : Normal, 정상 상태
• Fault 1 : Rich, 연료 과다 결함
• Fault 2 : Lean, 희박 혼합기 결함
• Fault 3 : Low Voltage, 저전압 결함

모델링의 핵심 목표는 단순히 정상과 결함을 구분하는 것이 아니라, 결함 유형별 센서 패턴을 학습하여 어떤 결함인지까지 분류하는 것이다.

---

2. 사용 모델

프로젝트에서는 여러 머신러닝 모델을 비교하여 엔진 결함 데이터에 적합한 모델을 찾고자 하였다.

• Logistic Regression
  기본적인 선형 분류 모델로 사용하였다.
  하지만 엔진 센서 데이터는 변수 간 관계가 비선형적이고 복잡해 성능이 상대적으로 낮게 나타났다.
• Random Forest
  여러 개의 결정트리를 결합한 모델이다.
  센서 변수 간 복잡한 관계를 반영할 수 있어 결함 분류에 적합한 성능을 보였다.
• XGBoost
  이전 모델의 오차를 보완하면서 학습하는 부스팅 모델이다.
  Tree 기반 모델 중 하나로, 결함 유형별 패턴 학습에 활용하였다.
• LightGBM
  빠른 학습 속도와 높은 성능을 가진 부스팅 모델이다.
  본 프로젝트에서 F1-Macro 기준 우수한 성능을 보였다.
• CatBoost
  안정적인 성능을 보이는 부스팅 계열 모델로 사용하였다.
  LightGBM과 함께 높은 성능을 보인 모델 중 하나이다.
• Soft Voting Ensemble
  Random Forest, XGBoost, LightGBM, CatBoost 등 성능이 좋은 모델들의 예측 확률을 결합하였다.
  단일 모델의 예측 편향을 줄이고, 전체적인 분류 성능을 안정화하기 위해 적용하였다.
• 트리 모델 성능 비교

3. 평가 지표

이번 프로젝트는 결함 유형별 예측 성능을 확인해야 하므로, 단순 정확도만 사용하지 않고 여러 평가 지표를 함께 확인하였다.

• Accuracy
  전체 데이터 중 모델이 올바르게 예측한 비율이다.
  전체적인 분류 성능을 확인하는 데 사용하였다.
• Precision
  모델이 특정 결함이라고 예측한 데이터 중 실제로 맞은 비율이다.
  잘못된 결함 진단을 줄이는 데 중요한 지표이다.
• Recall
  실제 특정 결함 데이터 중 모델이 해당 결함으로 제대로 탐지한 비율이다.
  결함을 놓치지 않는 것이 중요하기 때문에 결함 탐지 문제에서 핵심적으로 확인하였다.
• F1-score
  Precision과 Recall의 균형을 나타내는 지표이다.
  엔진 결함 탐지에서는 오진과 미탐지를 모두 고려해야 하므로 주요 성능 지표로 사용하였다.
• F1-Macro
  각 Fault 클래스의 F1-score를 동일한 비중으로 평균낸 값이다.
  특정 클래스 성능에만 치우치지 않고, Normal, Rich, Lean, Low Voltage를 균형 있게 분류하는지 확인하기 위해 사용하였다.
• ROC-AUC
  각 결함 유형을 얼마나 잘 구분하는지 확인하기 위해 사용하였다.
  프로젝트 결과 Normal과 Rich는 AUC 1.00으로 매우 잘 구분되었고, Lean과 Low Voltage는 AUC 0.84 수준으로 나타나 두 결함 간 구분이 상대적으로 어렵다는 점을 확인하였다.

---

💡 느낀점

이번 프로젝트를 통해 머신러닝 모델의 성능은 알고리즘만으로 결정되는 것이 아니라,
데이터의 특성과 변수의 품질에 크게 영향을 받는다는 점을 느꼈다.

다양한 모델을 적용했지만, Lean과 Low Voltage처럼 센서 분포가 유사한 결함은 구분에 한계가 있었다. 이를 통해 모델 성능을 높이기 위해서는 단순한 튜닝뿐만 아니라, 전압·연료압·인젝터 분사 시간처럼 결함을 설명할 수 있는 핵심 센서 데이터 확보가 중요하다는 것을 배웠다.