Olist 관련 리서치 & 주제 관련

# 🚫 잘못된 방법 # 전체 데이터의 통계량으로 전처리 mean_age = df['age'].mean() # 테스트 데이터를 포함한 평균 df['age'].fillna(mean_age, inplace=True) X_train, X_test, y_train, y_test = train_test_split(X, y) # ✅ 올바른 방법 # 데이터 분할 후 훈련 데이터의 통계량만 사용 X_train, X_test, y_train, y_test = train_test_split(X, y) mean_age = X_train['age'].mean() # 훈련 데이터만의 평균 X_train['age'].fillna(mean_age, inplace=True) X_test['age'].fillna(mean_age, inplace=True) # 훈련 데이터의 평균을 테스트에 적용

# 🚫 잘못된 방법 # 전체 데이터로 이상치 기준 설정 Q3 = df['income'].quantile(0.75) Q1 = df['income'].quantile(0.25) IQR = Q3 - Q1 df_filtered = df[(df['income'] >= Q1 - 1.5*IQR) & (df['income'] <= Q3 + 1.5*IQR)] X_train, X_test, y_train, y_test = train_test_split(df_filtered[features], df_filtered[target]) # ✅ 올바른 방법 # 분할 후 훈련 데이터로만 기준 설정 X_train, X_test, y_train, y_test = train_test_split(X, y) Q3_train = X_train['income'].quantile(0.75) Q1_train = X_train['income'].quantile(0.25) IQR_train = Q3_train - Q1_train # 훈련 데이터에서 이상치 제거 mask_train = (X_train['income'] >= Q1_train - 1.5*IQR_train) & \ (X_train['income'] <= Q3_train + 1.5*IQR_train) X_train = X_train[mask_train] y_train = y_train[mask_train]

from sklearn.preprocessing import StandardScaler # 🚫 잘못된 방법 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 전체 데이터로 fit X_train, X_test = train_test_split(X_scaled) # ✅ 올바른 방법 X_train, X_test = train_test_split(X) scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) # 훈련 데이터로만 fit X_test_scaled = scaler.transform(X_test) # 테스트는 transform만