( ) MCGUFFIN ARCHIVE, Python 모델링: 회귀(Regression) / 1step. 데이터 전처리 및 탐색적 데이터 분석(EDA)

상황 설정

A사는 이번에 새롭게 회사를 런칭하게 되어 급여 체계를 새로 수립해야 하는 상황이다. 원활한 운영을 위해 대규모 채용을 진행할 예정이며, 이에 따라 직급별/ 직무별 급여 Band를 수립하기 위해 지원자들의 프로필 정보와 자산에 대한 데이터를 활용해 급여를 예측하는 모델을 만들고 급여 Band 설정에 베이스 데이터로 활용하고자 한다. 이러한 분석을 진행하기에 앞서, A사의 데이터 분석가인 나는 문제 상황과 데이터를 낱낱이 살펴보고 유의미한 데이터 수집 환경과 분석 프로세스를 갖추고자 하고 있다.

문제 해결 프로세스 정의

내가 이 데이터 예측 모델을 만들고자 하는 것은 A사 내부의 인력 운영 효율의 실질적인 개선을 하기 위함이다. 이를 위해 현재 A사의 문제에 대해 정확히 정의해야 하고, 이 모델 개발을 통해 얻게 될 이득과 구체적인 실행 방안에 대해서도 숙고해봐야 한다. 모델 구축 이후에는 해당 모델링을 통해 진행하는 과정이 데이터로 남는 시스템을 선구축해 놓아야 하며 이 모델이 본래 목적인 문제 상황을 해결하는 데 얼마나 기여했는지에 대한 기준도 명확히 세워 놓아야 한다. 나는 위와 같은 의문을 해소하기 위한 시트를 미리 만들어 두고 작업하고자 한다. 그 내용은 아래와 같다.

문제정의

▶ 현상 : 신규 비지니스 진출로 인한 급여 Band 부재
▶ 리스크 : 한정된 채용 비용을 효과적으로 사용할 수 없고, 목표한 인원수의 채용이 어려워짐, 연봉이 과도하게 설정되어 관리 비용의 증가

기대효과
▶ 급여 Band 신설로 채용 기반 준비
▶ 급여 Band 활용 채용 진행으로, 채용 비용 효율화

해결방안
▶ 급여(Wage) 예측 모델 개발
▶ 신입 직원 지원 시 이력서를 통해 기본 정보들을 수집
▶ 수집된 Data를 활용하여 지원자의 연봉 Band 판단

성과측정
▶ As-is : X
▶ To-be : 주어진 채용 비용안에 목표한 인원 채용 달성 여부

모델운영
▶ 신입 직원 지원 시 이력서를 통해 기본정보들을 수집
▶ 수집된 Data를 활용하여 지원자의 연봉 Band 판단
▶ 지원자 발생 시점마다 모델링 수행 후 결과 출력

Data Info Check : 데이터 전처리

문제 해결 프로세스가 구체화됐다. 데이터 분석을 시작하기 전에, 나는 다룰 데이터를 천천히 살펴보면서 데이터의 골조를 파악하는 과정을 거치고, 동시에 전처리도 진행해 주기로 했다. 기존 포스트에서 다뤘던 것처럼, Tidy data로 만들어 줘야 하겠고, 문자형 데이터를 숫자형 데이터로 인코딩해주는 과정도 필요할 것이다. 이번 챕터에서는 아래와 같은 다섯 개 부분에서 기본 정보를 살펴 보고 동시에 전처리 진행해 줄 것이다.

  (1) Data shape(형태) 확인
  (2) Data type 확인
  (3) Null값 확인 (※ 빈 값의 Data)
  (4) 중복 데이터 확인
  (5) Outlier 확인 (※ 정상적인 범주를 벗어난 Data)

df.shape

(534, 11)

우선 shape로 데이터의 형태를 확인해 준다. 처음에 나오는 것이 로우 값, 뒤이어 나오는 것이 컬럼 값이다.

df.info()

전체 데이터를 출력해 보면 아래와 같이 출력된다. 11개의 컬럼이 줄지어 있고, 전체 534개의 로우 중 null 값은 없다. 대부분의 데이터 타입은 int지만, WAGE는 float 타입을 가지고 있다. 시간당 달러 수입이기 때문에 소수점이 포함된 값이 나와서 그럴 거다.

print(df.isnull().sum())

isnull로 전체 null 개수를 체크하고 그 값을 sum으로 더하면 전체 null 개수가 나올 거다. null 값이 너무 높은(95% 이상) 컬럼은 데이터를 삭제해 주거나 추가적으로 수집 후 분석을 진행해 주는 게 좋다. 물론 이 데이터셋에서는 위에서 로우 수로 한 번 체크했듯이, null값이 포함된 셀은 없다.

df.duplicated().value_counts()

duplicated로 중복을 체크해 주고 그 값을 센다. True인 값은 중복값이다. 여기서는 False 534개기 때문에 전체 로우 중에 중복값이 없다는 뜻이 되겠다.

list_of_df = []

for i in df.columns :

loof_df = pd.DataFrame({'val' : [i],

'zero_cnt': df[df[i] == 0][i].count()})

list_of_df.append(loof_df)

df_merge = pd.concat(list_of_df).reset_index(drop=True)

df_merge['zero_ratio'] = df_merge['zero_cnt'] / len(df)

df_merge.sort_values(by=['zero_ratio'], ascending = False)

null, 중복 말고도 0 값의 비율도 체크해 본다. 0이 98% 이상일 경우에는 무언가를 분류하는 과정에서 변별력이 없다고 봐도 무방할 테니까. 아래 표에서 보이듯 지워줄 만큼 변별력 없는 데이터는 없었다.

Data Info Check : 탐색적 데이터 분석(EDA)

df.head()

위에서 일차적으로 형식을 점검한 데이터를 바탕으로 샘플 자료를 뽑아 보면서 데이터 값 자체가 분석이 가능하게 정제돼 있는지 점검한다. 특히 numeric(숫자형)과 catergorical(범주형) 변수를 명확히 나눠 두고 인지하고 있어야만 한다. 데이터가 어떤 범주 안에서 움직이고 있는지 대강 파악될 것이다.

import numpy as np

import pandas as pd

# ▶ numeric, categorical value 나누기

numerical_list=[]

categorical_list=[]

for i in df.columns :

if df[i].dtypes == 'O' :

categorical_list.append(i)

else :

numerical_list.append(i)

# ▶ %로 구분하는 방법

# for i in df.columns :

# if df[i].nunique() < len(df)*0.05 :

# categorical_list.append(i)

# else :

# numerical_list.append(i)

print("numerical_list:", numerical_list)

print("categorical_list:", categorical_list)

numeric과 catergorical 변수를 각각 나눠서 프린트해 본다. 물론 판단 방식이 단순히 값이 숫자로 이루어져 있는지, 문자로 이루어져 있는지 체크하는 과정이기 때문에 이 데이터를 맹신할 순 없다. 예를 들면, 성별이나 국가처럼 단순히 분류를 위한 숫자값은 catergorical에 더 가깝다. 주석은 위와 같은 맥락에서 유니크한 값이 5% 미만인 컬럼을 catergorical로 바꿔 놓는 식이다.

list_of_df = []

for i in numerical_list :

loof_df = pd.DataFrame({'val' : [i],

'nunique': df[i].nunique()})

list_of_df.append(loof_df)

df_merge = pd.concat(list_of_df).reset_index(drop=True)

df_merge.sort_values(by=['nunique'], ascending = False)

위 식처럼 전체 컬럼을 출력해 보면, 주석의 방식을 적용 시 catergorical로 분류될 컬럼이 꽤 많아 보인다. 주석과 조금 다른 방법으로, catergorical 변수가 많이 소속되는 meta 탭과 비교분석하는 절차를 통해 catergorical 변수를 재정의해 주자.