Python 모델링: 회귀(Regression) / 2step. Data Readiness Check, Feature Engineering

 

 

이전 포스트 요약

 

지난 포스트에서 우리는 A사의 인사 효율화를 위해 급여 체계 관련한 문제를 찾아 내고 일차적인 실행 프로세스를 구축했다. 그리고 가지고 있는 데이터를 잘 모아서 컴퓨터가 이해할 수 있는 방식으로 가공해 줬다. null 값, 중복 값, outlier(정상 수치를 넘어선 데이터)가 있는지 체크해 줬으며 numeric(숫자형)과 catergorical(범주형) 변수의 변별력을 위해 각 변수의 형태를 체크 후 메타 데이터 기준으로 각 변수를 재정의해 줬다.

 

이런 전처리와 데이터 체크 과정은 시간을 들여 깊게 진행할 가치가 있다. 좋은 데이터를 인풋해야 좋은 아웃풋이 나온다. 어떤 데이터를 원하는 값으로 가공해주는 y = f(x)라는 방정식에서 f라는 식과 x라는 변수가 모두 옳아야만 올바른 y값을 얻어낼 수 있듯이.

 

이번 스텝에는 기존 전처리된 데이터를 활용해 '현재 가지고 있는 데이터의 수준으로 문제 해결에 도달할 수 있는지 점검'하고 '모델링이 좋은 성능을 낼 수 있도록 각 변수 사이의 관계가 명확해지게 가공/ 선별하거나 문제 해결에 도움이 될 수 있는 변수를 추가로 생성'하는 Data Readiness Check와 Feature Engineering 단계를 진행할 것이다.

 

 

 

 

 

Data Readiness Check

 

서론에서 언급했듯이, Data Readiness Check는 기존 데이터의 수준으로 문제 해결에 도달할 수 있는지 점검하는 파트다. 이 과정에서, 우리는 Target label과 Target Ratio를 점검해 주고 해당 데이터를 토대로 분석 방향성을 유지하거나 변경할 것이다. 

 

 

이 과정은 여러 관점에서 유의미하다. 문제 해결 프로세스를 정의했다고 하더라도, 지금 진행 단계에서 Target label이 나오지 않은 경우도 있을 수 있다. 예를 들어 커머스사에서 첫 구매한 고객의 재구매 비율을 측정한다고 하면 해당 단계에서는 첫 구매 고객 데이터만 나와 있고 재구매 데이터는 아직 나와 있지 않을 수 있다. 이런 경우에는 데이터 수집부터 짚고 가야 한다.

 

 

조금 다른 방향에서 Target Ratio 자체는 적지만 수집 데이터 수량 자체는 많을 수 있다. 이럴 때는 데이터를 조금 '포기하고' 일부 집단으로 필터를 걸어서 전체 데이터를 줄이되 Target Ratio를 올리는 방식으로 진행해볼 수도 있다. 주 타겟층이 30~40대라면 20대는 데이터에서 빼버리고 분석하는 것이다.

 

 

또 데이터 값이 일부분에만 지나치게 몰려 있는 경우도 있을 수 있다. 이런 경우에는 분석이 무의미하다. Data Readiness Check는 타겟 데이터에 대해 한 번 더 검수 과정을 거치게 함으로써 우리로 하여금 이런 논리상의 허점을 보강하게 해 준다.

 

 

본격적으로 해당 단계를 진행해 보자. 일단 데이터가 어떻게 생겼는지 다시 한 번 보면,

 

 

df.head()

 

 

 

 

여러 지표들이 나온다. 이 중에 타겟 지표가 되는 WAGE를 조금 더 깊게 보자.

 

 

import seaborn as sns

display(pd.DataFrame(df['WAGE'].describe()))

sns.distplot(df['WAGE']);

 

 

describe() 로 기초적인 변수의 기술 통계 자료를 열람할 수 있다. distplot 그래프와 함께 표를 한번 나열하면 아래처럼 출력된다.

 

 

 

 

크게 뭉쳐 있는 부분 없이 연속 변수스러운 그래프를 가지고 있다. 이젠 각 변수와 WAGE 사이의 관계를 조금 파악해볼 시간이다. groupby로 OCCUPATION의 각 값별 WAGE의 평균을 내보면 아래와 같다. 이외에도 여러 개 입력해보면서 관계를 찾아 본다.

 

 

eda_df1 = df.groupby('OCCUPATION')['WAGE'].agg(WAGE_mean =('mean')).reset_index()

eda_df1

 

 

 

지금까지 파악한 정보값으로 보면, 해당 데이터로 분석을 진행해도 문제 없어 보인다. 분포가 꽤 넓게 퍼져 있고, 유의미한 변수도 몇 뽑았으니까. 다만 살짝 걱정되는 점은 값이 534개밖에 없다는 점이다. 추가적으로 자료를 더 수집할 필요는 있다.

 

 

 

 

 

Feature Engineering: 개요

 

앞서 정의한 대로 Feature Engineering은  '모델링이 좋은 성능을 낼 수 있도록 각 변수 사이의 관계가 명확해지게 가공/ 선별하거나 문제 해결에 도움이 될 수 있는 변수를 추가로 생성'하는 과정이다. 즉, 여기서 가장 메인이 되는 부분은 얼마나 날카로운 Feature, 즉 타겟 변수를 만들거나 가공하느냐다. 그럼 어떤 방식으로 이 Feature를 다듬어줄 수 있을까? 이는 크게 두 가지 방식으로 나뉜다.

 

 

* Classification(분류) : bin(통)으로 구분 후 Target 변수와의 관계 파악
* Regression(회귀) : Target 변수와의 correlation을 확인하거나 bin(통)으로 구분 후 Target 변수와의 관계 파악

 

 

이중 Classification, 분류 방식은 OCCUPATION과 WAGE 값의 상관관계를 값 별(bin)로 표로 정리했던 그 방식이다. OCCUPATION이 문자열 변수이고 WAGE이 연속형 변수이기 때문에 깊게 분석해볼 수 없었다. 아래서는 연속형 변수와 연속형 변수와의 비교를 Regression, 회귀 방식으로 진행해 보겠다.

 

 

 

 

 

Feature Engineering: Numerical features

 

 

Numerical feature부터 다뤄 본다. 우선 패키지를 설치하고,

 

!pip install optbinning

# 패키지 설치

 

 

seaborn 패키지의 heatmap plot으로 x와 y가 각각 만나는 지점에서 상관계수가 어떻게 돼 있는지 시각화된 형태로 파악해 보겠다. 

# ▶ heatmap plot

 

import seaborn as sns

import matplotlib.pyplot as plt

 

# ▶ 모든 조합, 상관계수 표현

df_pair = df[numerical_list]

mask = np.triu(np.ones_like(df_pair.corr(), dtype=np.bool))

sns.heatmap(df_pair.corr(), vmin = -1, vmax = +1, annot = True, cmap = 'coolwarm', mask = mask);

plt.gcf().set_size_inches(10, 5)

 

 

corr 는 코럴레이션이다. 상관 계수를 구해주는 값이고 연이어 나오는 것들은 시각화 옵션들이다. 

vmin/ vmax는 버티컬 레인지를 정해 주는 값이다. 상관계수의 레인지를 -1부터 1까지 설정하는 것.

annot은 annotation true로 실제 상관계수에 대한 숫자를 그래프 위에 쓸 거냐 말 거냔 뜻이다. 쓰는 게 더 직관적이기 때문에 여기서는 표시했다.

mask = mask는 중복 값을 그래프에서 제거하는 식이다. 만약에 제거하지 않으면 양방향으로 동일한 값이 데칼코마니처럼 기입된다.

 

 

 

 

표를 보자. 0.2 이상이면 보통 어느 정도 상관관계가 있다고 본다. 이를 넘긴 값이 두 개, 살짝 덜 도달한 값 하나가 보인다. 빨갛게 들어간 부분을 보면 AGE와 EXPERIENCE의 관계다. 나이가 많을 수록 경력이 많냔 것인데 추가적인 해석을 요하지 않는 단순한 정보값이다. 조금 더 볼만한 정보는 AGE와 WAGE 값이다. 나이에 따라 경력이 많다면 나이와 연봉도 상관관계가 있을 것 같았는데 유의미한 값에 도달하진 못 했다. 어리고 실력 좋은 사람들이 많은 돈을 받고 있단 사실의 증쯤 되겠다. 다음은 EDUCATION과 WAGE의 관계. 이건 확실히 상관관계가 있어 보인다. 조금 더 깊게 볼까.

 

 

# ▶ scatter plot(Followers & Followers_gained)

sns.scatterplot(data = df, x='EDUCATION', y='WAGE');

 

 

 

 

scatter plot, 산점도 형식으로 EDUCATION과 WAGE의 관계를 그려 봤다. EDUCATION이 올라갈수록 전체 값이 우상향하고 있는 점이 보인다. 이 데이터는 분석에 유의미한 변수라 할 수 있겠다. quantile로 표로도 봐 보자.

 

 

 

 

값이 점핑하는 구간이 몇 있다. 3개 정도의 구간으로 나눠 볼 수 있을 것 같다. 원본은 그대로 두고 데이터 마트를 추가적으로 만들어서 구간화해 보자.

 

 

# ▶ Binning

df_mart = df.copy()

val = 'EDUCATION'

quantile  = df_mart[val].quantile(q=list(np.arange(0.05,1,0.05)), interpolation = 'nearest')

# quantile

# ▶ 그룹 초기화

df_mart['grp'] = 0

# ▶ 40%, 75% 기준으로 총 3개 구간화 진행

for i in  range(len(df_mart[val])) :

  if df_mart.loc[i, val] <= quantile.iloc[7] : # 40%

    df_mart.loc[i, 'grp'] = 1

  elif df_mart.loc[i, val] <= quantile.iloc[14] : # 75%

    df_mart.loc[i, 'grp'] = 2

  else : df_mart.loc[i, 'grp'] = 3

 

 

세 그룹의 비율을 보자.

 

# 그룹 비율

display(df_mart['grp'].value_counts())

display(df_mart['grp'].value_counts(normalize=True))

 

 

 

 

# 연봉 평균값

pd.options.display.float_format = '{:.5f}'.format

df_mart.groupby('grp')['WAGE'].mean()

 

 

 

 

0.38이라는 상관계수로는 얼마나 오르는지 감이 안 왔던 부분도 그룹핑해서 뽑아 보면 명확하게 보인다. 그럼, 상관관계가 0.18정도였던 AGE와 WAGE의 관계도 궁금해진다. 한 번만 더 해보자.

 

 

# ▶ scatter plot(Followers & Followers_gained)

sns.scatterplot(data = df, x='AGE', y='WAGE');

 

 

 

 

 

# ▶ Binning

df_mart = df.copy()

val = 'AGE'

quantile  = df_mart[val].quantile(q=list(np.arange(0.05,1,0.05)), interpolation = 'nearest')

# quantile

# ▶ 그룹 초기화

df_mart['grp'] = 0

# ▶ 40%, 75% 기준으로 총 3개 구간화 진행

for i in  range(len(df_mart[val])) :

  if df_mart.loc[i, val] <= quantile.iloc[3] : # 40%

    df_mart.loc[i, 'grp'] = 1

  elif df_mart.loc[i, val] <= quantile.iloc[14] : # 75%

    df_mart.loc[i, 'grp'] = 2

  else : df_mart.loc[i, 'grp'] = 3

 

 

# ▶ bin별 비중 비교

display(df_mart['grp'].value_counts())

display(df_mart['grp'].value_counts(normalize=True))

 

 

 

 

# ▶ bin별 Target 변수와의 관계

pd.options.display.float_format = '{:.5f}'.format

df_mart.groupby('grp')['WAGE'].mean()

 

 

 

 

유의미한 관계가 보이지 않는다는 것을 읽을 수 있다.

 

 

이처럼 여러 가지 방법들로 의미가 있는 변수를 찾아내거나 의미가 없는 변수를 걸러 주는 작업을 통해 데이터의 퀄리티를 보강하거나 분석 방향성을 수정할 수 있다. 

 

 

 

 

 

Feature Engineering: Catergorical features

 

Catergorical feature도 (Numerical feature만큼 볼륨이 크진 않지만) 그래프, 표 등으로 파악할 수 있다. 이는 분석 목적보다는 우리가 가지고 있는 연속형 변수가 어떻게 구성되어 있는지를 보기 위한 목적이 더 크다.

 

 

df[categorical_list].head()

 

 

 

 

meta

 

 

 

 

import seaborn as sns

import matplotlib.pyplot as plt

%matplotlib inline

plt.style.use(['dark_background'])

# ▶ target 기준(hue,색상)으로 구분하여 Plot

sns.catplot(x="SECTOR", kind="count",palette="pastel", edgecolor=".6",data=df);

# plt.xticks(rotation=-20)

plt.gcf().set_size_inches(25, 3)

# ▶ sample col eda

eda_df = df.groupby('SECTOR')['WAGE'].agg(mean =('mean')).reset_index()

display(eda_df)

 

 

 

 

*해당 포스트는 패스트캠퍼스의 바이트 디그리 EXPORT 강의에서 제공되는 데이터셋 및 자료로 작성됐다.