devjjun 님의 블로그

TIL(Today I Learned)1️⃣실전 프로젝트(2)병합된 Trip 데이터 수정 방안컬럼 제거 및 컬럼명 수정중복행 제거 및 데이터 타입 확인Trip_ID 기준 정렬Time 기준 정렬결측치 확인 및 처리1초 리샘플링컬럼명 오탈자 수정 Velocity [km/h]]] -> Velocity [km/h]df_cleaned['Velocity [km/h]'] = ( df_cleaned['Velocity [km/h]'] .fillna(df_cleaned['Velocity [km/h]]]']))df_cleaned = df_cleaned.drop(columns=['Velocity [km/h]]]'])상관계수 및 도메인 기반 불필요 컬럼 삭제 상관계수 0.9이상 확인 corr = df_cleaned.c..

TIL(Today I Learned)1️⃣실전 프로젝트(1)주제: 모빌리티 데이터 도메인 조사 : 4조 포아송 도메인 조사 - Google Docs 4조 포아송 도메인 조사주행 동역학 & 회생 제동 오병준 BMW i3 주행 동역학 핵심 요약 1. 주행저항 4요소 차량은 아래 4가지 저항을 이겨내며 주행함. 공기저항 : 속도↑ → 급격히 증가 구름저항 : 타이어·노면 마찰 등판docs.google.com분리된 데이터 병합 및 전처리 계획 Trip병합 -> Time 기준 정렬 기본 전처리(컬럼명 및 중복 컬럼, 불필요 컬럼 제거) -> 시계열 1초 단위로 resamplingdiff계산 전 결측치 처리 -> 시계열 기반 전처리(변화량 feature 생성, 시계열 cleaning) -> 요약통계 생성 ->..

TIL(Today I Learned)1️⃣시계열 분석 정리(2)LOT 제품 묶음시계열이 있을 수도 있고 없을 수도 있음LOT 하나에 요약값을 만들 수도 있고,LOT 내부 제품별 데이터가 있을 수도 있음LOT 데이터 예시① 제품 단위 데이터LOT_IDPRODUCT_NOWIDTHHEIGHTWEIGHTDEFECTLOT123110.25.312.1NGLOT123210.15.212.0NG..................LOT12320010.35.312.2NG② LOT 내부의 시계열 데이터TimePressureTemperature0.0020.01800.0130.51830.0245.3185 LOT란 “제품 여러 개 묶음”이며 내부에는 제품별 정형데이터 + 시계열(waveform) 둘 다 존재할 수 있다. LOT 데이터..

TIL(Today I Learned)1️⃣시계열 분석 정리(1)시계열 분석이란?기존의 통계학이 '현상'을 분석했다면, 시계열 분석은 '맥락'을 분석시계열 데이터의 형태 계절성추세변동계절적 추세변동순환변동우연변동시계열 데이터의 특징 시간 순서의 연속성이전 값과 현재 값의 상관(자기상관성)시간 간격이 일정1)연속된 측정값이지만 비시계열 풀기Timestamp압력(압력 lag)온도(℃)전류(A)품질결과u" style="height: 17px;">2025-07-01 00:00:002.1055.31.10OKu" style="height: 17px;">2025-07-01 00:01:002.15 (2.10)55.5 (55.3)1.12OKu" style="height: 17px;">2025-07-01 00:02:002...

TIL(Today I Learned)1️⃣시계열 라이브 세션제조업 시계열 데이터와 이상 탐지 핵심 정리LOT 데이터LOT은 여러 제품을 하나의 묶음으로 관리하는 개념이다.예를 들어 사출 공정에서 일정 시간 동안 생산된 제품들을 하나의 LOT으로 관리할 수 있다. LOT 내부에는:제품별 정형 데이터제품별 시계열 데이터(압력, 온도 waveform)가 함께 존재할 수 있다.LOT 데이터 특징제품 중심 구조제품 단위 품질 존재상대적으로 짧은 시계열LOT 단위 집계 가능LOT 데이터 처리 방식대표적으로 다음과 같은 방식이 사용된다.시계열 요약 통계 생성meanstdmaxslopeFFT peak구간별 feature 생성0~20%20~50%50~100%제품별 feature를 LOT-level로 집계평균 압력평균 분..

TIL(Today I Learned)1️⃣태블로 라이브 세션Tableau PulseTableau에 포함된 AI 기반 KPI 모니터링 레이어전통적인 대시보드처럼 “사용자가 열어서 해석”하는 방식이 아니라, 정의된 핵심 지표(Metric)를 중심으로 이상 변화 감지, 원인 후보 자동 요약, 사용자에게 ‘알림 + 해석’ 형태로 전달하는 Push형 Analytics가 핵심2. 핵심 구성 요소 (구조적으로)계산식 (LOD 포함 가능)시간 Grain (일/주/월)비교 기준 (전주 대비, 전년 대비 등)목표값(Optional)총 매출전환율DAU불량률Metric (지표 정의)👉 “차트”가 아니라 “수치의 상태”를 정의하는 개념 Insight Generation (AI 해석) : Pulse는 지표 변화가 감지되면 다음..

TIL(Today I Learned)1️⃣시계열 라이브 세션 1,2회차시계열 데이터란?시간의 흐름에 따라 연속적으로 기록된 데이터로 예측, 트렌드 분석, 이상 탐지 등에 활용됨.시계열 데이터의 주요 특징시간 의존성: 이전 데이터가 이후 데이터에 영향을 줌.자기 상관성: 과거 값과 현재 값이 유사한 경향이 있음.트렌드 & 계절성: 일정한 패턴이나 주기적인 변화가 존재함.시계열 데이터의 구성 요소 계절성(Seasonal) → 주기적인 패턴 (ex. 여름철 아이스크림 판매 증가) 추세성(Trend) → 장기적인 상승/하락 경향 (ex. 스마트폰 판매 증가) 순환성(Cycle) → 불규칙한 장기적 변화 (ex. 경기 불황 & 호황)장기적인 패턴이 있지만, 주기가 일정하지 않음.계절성(Seasonality)과 다..

TIL(Today I Learned)1️⃣태블로를 활용한 데이터 시각화 Chapter.51. 대시보드 동작 및 도구설명1-1. 대시보드 동작1. 동작 종류필터 - 한 뷰의 데이터를 사용하여 다른 뷰의 데이터를 필터링하이라이트 - 특정 마크에 색상을 지정하고 다른 모든 마크는 흐리게 표시하여 해당 마크 강조URL로 이동 - 웹 페이지, 파일 또는 다른 Tableau 워크시트와 같은 외부 리소스로 연결되는 하이퍼링크 생성시트로 이동 – 간편하게 다른 워크시트, 대시보드 또는 스토리를 탐색매개 변수 변경 - 사용자가 비주얼리제이션의 마크와 직접 상호 작용하여 매개 변수 값을 변경집합 값 변경 - 사용자가 비주얼리제이션의 마크와 직접 상호 작용하여 집합에 속하는 값을 변경2. 필터 동작 편집원본 시트 – 데이터..

TIL(Today I Learned)1️⃣ 태블로를 활용한 데이터 시각화 Chapter.41. 데이터 결합1-1. 논리적 계층과 물리적 계층논리적 계층 (Logical Layer) vs 물리적 계층 (Physical Layer) 논리적 계층 (Logical Layer)물리적 계층 (Physical Layer)개념• 데이터 모델의 상위 레이어• 각 테이블을 하나의 논리적 테이블로 유지한 상태에서 결합• 테이블 간 결합은 관계(Relationship)를 사용• 실제 쿼리는 뷰에서 필드가 사용될 때 동적으로 생성 (지연 조인)@" style="width: 48.4884%;">• 데이터 모델의 하위 레이어• 실제 데이터베이스 수준에서 테이블을 결합하여 하나의 물리적 테이블 생성• 테이블 간 결합은 조인(Join..

TIL(Today I Learned)1️⃣태블로를 활용한 데이터 시각화 Chapter.31.데이터 그룹 원래 차원의 멤버(예: 국가, 제품명, 고객명 등)를 사용자가 지정한 기준으로 묶어 새로운 범주를 생성그룹을 만들면 원본 데이터는 변경되지 않고, 새로운 계산된 차원 필드가 생성그룹은 분석 중 특정 항목들을 집계하거나 맞춤형 범주를 만들 때 활용1-2.권역 그룹 만들기 권역 그룹 생성강원 : 강원도경기 : 경기도, 서울특별시, 인천광역시경상 : 경상남도, 경상북도, 대구광역시, 부산광역시, 울산광역시전라 : 광주광역시, 전라남도, 전라북도충청 : 대전광역시, 세종특별자치시, 충청남도, 충청북도제주 : 제주특별자치도기존 지역별 필드에서 권역 그룹으로 시각화 변경📌계산식을 통한 구현더보기Ex) C_권역I..