데이터 전처리 이론 01. 데이터의 척도와 EDA 기초

전처리의 모든 의사결정은 "이 변수가 어떤 척도인가"에서 출발합니다. 척도를 잘못 읽으면 이후의 인코딩·스케일링·통계량 선택이 전부 어긋납니다.

다루는 계층

• 통계 이론: 측정 척도(명목·순서·등간·비율), 분포의 요약량(중심경향·산포·왜도·첨도)
• 전처리 의사결정: 척도에 따라 허용되는 연산과 변환이 달라짐, 어떤 요약량을 신뢰할지 선택
• 도구 구현: pandas의 dtype(object·category·int·float), df.describe(), df.skew(), df.kurt()

1. 측정 척도(measurement scale)

Stevens(1946)의 분류가 표준으로 쓰입니다. 네 척도는 "허용되는 연산"이 다릅니다.

왜 중요한가(사실): 명목형 변수에 평균을 내는 것은 의미가 없고, 등간척도(섭씨)에서 "20도는 10도의 두 배"라는 진술은 성립하지 않습니다. 0의 의미가 임의이기 때문입니다.

전처리로의 연결(권고):

• 명목형 → 원-핫/더미 인코딩(순서를 부여하면 모델이 허구의 대소 관계를 학습).
• 순서형 → ordinal 인코딩으로 순서를 보존하되 간격이 균등하다고 단정하지 않기.
• 비율/등간(수치형) → 스케일링·변환의 대상. 정형(테이블)/반정형(JSON·로그)/비정형(텍스트·이미지)의 구분과, 수치형 안에서 이산(개수)·연속(측정)의 구분도 함께 기록해 둡니다. 이산·소수 범주의 정수 변수(예: 자녀 수)는 수치형과 범주형의 경계에 있어 모델·목적에 따라 취급이 갈립니다.

2. 탐색적 데이터 분석(EDA)의 기초 요약량

EDA는 모델링 전에 데이터의 형태·이상·관계를 눈으로 확인하는 단계입니다. 단변량 → 이변량 → 다변량 순서로 좁혀 갑니다.

2.1 중심경향(central tendency)

• 평균(mean): 모든 값을 반영하지만 이상치에 민감합니다.
• 중앙값(median): 순위 기반이라 이상치에 강건(robust)합니다.
• 최빈값(mode): 범주형·다봉 분포에서 유용합니다. 실무 강조점(사실): 이상치가 하나만 섞여도 평균과 표준편차는 크게 흔들리지만 중앙값·IQR은 거의 변하지 않습니다. 소득·가격처럼 오른쪽으로 긴 꼬리를 갖는 변수는 평균 > 중앙값이 되며, 대표값으로 중앙값을 보고하는 편이 안전합니다.

2.2 산포(dispersion)

• 분산·표준편차: 평균으로부터의 평균적 제곱 편차. 정규분포 가정과 잘 맞습니다.
• IQR(사분위 범위) = Q3 − Q1: 가운데 50%의 폭. 이상치에 강건합니다.
• MAD(median absolute deviation) = median(|x − median(x)|): 표준편차의 강건한 대체물.

q1, q3 = df["price"].quantile([0.25, 0.75])
iqr = q3 - q1
mad = (df["price"] - df["price"].median()).abs().median()

2.3 왜도(skewness)와 첨도(kurtosis)

• 왜도: 분포의 비대칭. 양수면 오른쪽 꼬리(예: 소득), 음수면 왼쪽 꼬리. 절댓값이 대략 1을 넘으면 강한 치우침으로 봅니다(경험적 기준).
• 첨도: 꼬리의 두께. 정규분포의 첨도를 0으로 보는 excess kurtosis에서 양수면 두꺼운 꼬리(이상치 발생 가능성 큼). 정규성 가정의 의미(사실): z-score 기반 이상치 탐지, 피어슨 상관, 다수의 모수적 검정은 근사적 정규성을 전제합니다. 왜도·첨도가 크면 이 도구들의 결론이 왜곡되므로, 로그·Box-Cox 같은 변환(데이터 전처리 이론 05. 변수 변환·특성 공학·차원 축소)이나 강건한 대안을 씁니다.

2.4 이변량·다변량, 그리고 상관 ≠ 인과

두 수치 변수의 선형 관계는 피어슨 상관계수 r로, 단조 관계는 스피어만 순위상관으로 봅니다. 상관은 인과가 아니며, 세 번째 변수(교란변수)나 표본 선택이 만든 허위 상관일 수 있습니다(사실). 다변량 단계에서는 상관 히트맵·산점도 행렬로 다중공선성 후보를 미리 파악합니다.

df.describe()                       # count, mean, std, min, 사분위수, max
df.select_dtypes("number").skew()   # 열별 왜도
df.corr(numeric_only=True)          # 피어슨 상관행렬

3. 요약: 척도 → 요약량 → 전처리

1. 각 열의 척도를 명목/순서/등간/비율로 분류합니다.
2. 수치형은 중심경향·산포·왜도·첨도로 분포를 요약하고, 치우침·두꺼운 꼬리를 표시합니다.
3. 범주형은 카디널리티(고유값 수)와 최빈값 비중을 확인합니다.
4. 이 진단 결과가 이후 결측치(데이터 전처리 이론 02. 결측치 이론 (MCAR·MAR·MNAR)), 이상치, 스케일링, 인코딩 방법을 결정합니다.