이전 포스트 요약

지난 포스트에서 우리는 A사의 인사 효율화를 위해 급여 체계 관련한 문제를 찾아 내고 일차적인 실행 프로세스를 구축했다. 그리고 가지고 있는 데이터를 잘 모아서 컴퓨터가 이해할 수 있는 방식으로 가공해 줬다. null 값, 중복 값, outlier(정상 수치를 넘어선 데이터)가 있는지 체크해 줬으며 numeric(숫자형)과 catergorical(범주형) 변수의 변별력을 위해 각 변수의 형태를 체크 후 메타 데이터 기준으로 각 변수를 재정의해 줬다.

이런 전처리와 데이터 체크 과정은 시간을 들여 깊게 진행할 가치가 있다. 좋은 데이터를 인풋해야 좋은 아웃풋이 나온다. 어떤 데이터를 원하는 값으로 가공해주는 y = f(x)라는 방정식에서 f라는 식과 x라는 변수가 모두 옳아야만 올바른 y값을 얻어낼 수 있듯이.

이번 스텝에는 기존 전처리된 데이터를 활용해 '현재 가지고 있는 데이터의 수준으로 문제 해결에 도달할 수 있는지 점검'하고 '모델링이 좋은 성능을 낼 수 있도록 각 변수 사이의 관계가 명확해지게 가공/ 선별하거나 문제 해결에 도움이 될 수 있는 변수를 추가로 생성'하는 Data Readiness Check와 Feature Engineering 단계를 진행할 것이다.

Data Readiness Check

서론에서 언급했듯이, Data Readiness Check는 기존 데이터의 수준으로 문제 해결에 도달할 수 있는지 점검하는 파트다. 이 과정에서, 우리는 Target label과 Target Ratio를 점검해 주고 해당 데이터를 토대로 분석 방향성을 유지하거나 변경할 것이다. 

이 과정은 여러 관점에서 유의미하다. 문제 해결 프로세스를 정의했다고 하더라도, 지금 진행 단계에서 Target label이 나오지 않은 경우도 있을 수 있다. 예를 들어 커머스사에서 첫 구매한 고객의 재구매 비율을 측정한다고 하면 해당 단계에서는 첫 구매 고객 데이터만 나와 있고 재구매 데이터는 아직 나와 있지 않을 수 있다. 이런 경우에는 데이터 수집부터 짚고 가야 한다.

조금 다른 방향에서 Target Ratio 자체는 적지만 수집 데이터 수량 자체는 많을 수 있다. 이럴 때는 데이터를 조금 '포기하고' 일부 집단으로 필터를 걸어서 전체 데이터를 줄이되 Target Ratio를 올리는 방식으로 진행해볼 수도 있다. 주 타겟층이 30~40대라면 20대는 데이터에서 빼버리고 분석하는 것이다.

또 데이터 값이 일부분에만 지나치게 몰려 있는 경우도 있을 수 있다. 이런 경우에는 분석이 무의미하다. Data Readiness Check는 타겟 데이터에 대해 한 번 더 검수 과정을 거치게 함으로써 우리로 하여금 이런 논리상의 허점을 보강하게 해 준다.

본격적으로 해당 단계를 진행해 보자. 일단 데이터가 어떻게 생겼는지 다시 한 번 보면,

여러 지표들이 나온다. 이 중에 타겟 지표가 되는 WAGE를 조금 더 깊게 보자.

describe() 로 기초적인 변수의 기술 통계 자료를 열람할 수 있다. distplot 그래프와 함께 표를 한번 나열하면 아래처럼 출력된다.

크게 뭉쳐 있는 부분 없이 연속 변수스러운 그래프를 가지고 있다. 이젠 각 변수와 WAGE 사이의 관계를 조금 파악해볼 시간이다. groupby로 OCCUPATION의 각 값별 WAGE의 평균을 내보면 아래와 같다. 이외에도 여러 개 입력해보면서 관계를 찾아 본다.

지금까지 파악한 정보값으로 보면, 해당 데이터로 분석을 진행해도 문제 없어 보인다. 분포가 꽤 넓게 퍼져 있고, 유의미한 변수도 몇 뽑았으니까. 다만 살짝 걱정되는 점은 값이 534개밖에 없다는 점이다. 추가적으로 자료를 더 수집할 필요는 있다.

Feature Engineering: 개요

앞서 정의한 대로 Feature Engineering은  '모델링이 좋은 성능을 낼 수 있도록 각 변수 사이의 관계가 명확해지게 가공/ 선별하거나 문제 해결에 도움이 될 수 있는 변수를 추가로 생성'하는 과정이다. 즉, 여기서 가장 메인이 되는 부분은 얼마나 날카로운 Feature, 즉 타겟 변수를 만들거나 가공하느냐다. 그럼 어떤 방식으로 이 Feature를 다듬어줄 수 있을까? 이는 크게 두 가지 방식으로 나뉜다.

* Classification(분류) : bin(통)으로 구분 후 Target 변수와의 관계 파악
* Regression(회귀) : Target 변수와의 correlation을 확인하거나 bin(통)으로 구분 후 Target 변수와의 관계 파악

이중 Classification, 분류 방식은 OCCUPATION과 WAGE 값의 상관관계를 값 별(bin)로 표로 정리했던 그 방식이다. OCCUPATION이 문자열 변수이고 WAGE이 연속형 변수이기 때문에 깊게 분석해볼 수 없었다. 아래서는 연속형 변수와 연속형 변수와의 비교를 Regression, 회귀 방식으로 진행해 보겠다.

Feature Engineering: Numerical features

Numerical feature부터 다뤄 본다. 우선 패키지를 설치하고,

seaborn 패키지의 heatmap plot으로 x와 y가 각각 만나는 지점에서 상관계수가 어떻게 돼 있는지 시각화된 형태로 파악해 보겠다. 

corr 는 코럴레이션이다. 상관 계수를 구해주는 값이고 연이어 나오는 것들은 시각화 옵션들이다. 

vmin/ vmax는 버티컬 레인지를 정해 주는 값이다. 상관계수의 레인지를 -1부터 1까지 설정하는 것.

annot은 annotation true로 실제 상관계수에 대한 숫자를 그래프 위에 쓸 거냐 말 거냔 뜻이다. 쓰는 게 더 직관적이기 때문에 여기서는 표시했다.

mask = mask는 중복 값을 그래프에서 제거하는 식이다. 만약에 제거하지 않으면 양방향으로 동일한 값이 데칼코마니처럼 기입된다.

표를 보자. 0.2 이상이면 보통 어느 정도 상관관계가 있다고 본다. 이를 넘긴 값이 두 개, 살짝 덜 도달한 값 하나가 보인다. 빨갛게 들어간 부분을 보면 AGE와 EXPERIENCE의 관계다. 나이가 많을 수록 경력이 많냔 것인데 추가적인 해석을 요하지 않는 단순한 정보값이다. 조금 더 볼만한 정보는 AGE와 WAGE 값이다. 나이에 따라 경력이 많다면 나이와 연봉도 상관관계가 있을 것 같았는데 유의미한 값에 도달하진 못 했다. 어리고 실력 좋은 사람들이 많은 돈을 받고 있단 사실의 증쯤 되겠다. 다음은 EDUCATION과 WAGE의 관계. 이건 확실히 상관관계가 있어 보인다. 조금 더 깊게 볼까.

scatter plot, 산점도 형식으로 EDUCATION과 WAGE의 관계를 그려 봤다. EDUCATION이 올라갈수록 전체 값이 우상향하고 있는 점이 보인다. 이 데이터는 분석에 유의미한 변수라 할 수 있겠다. quantile로 표로도 봐 보자.

값이 점핑하는 구간이 몇 있다. 3개 정도의 구간으로 나눠 볼 수 있을 것 같다. 원본은 그대로 두고 데이터 마트를 추가적으로 만들어서 구간화해 보자.

세 그룹의 비율을 보자.

0.38이라는 상관계수로는 얼마나 오르는지 감이 안 왔던 부분도 그룹핑해서 뽑아 보면 명확하게 보인다. 그럼, 상관관계가 0.18정도였던 AGE와 WAGE의 관계도 궁금해진다. 한 번만 더 해보자.

유의미한 관계가 보이지 않는다는 것을 읽을 수 있다.

이처럼 여러 가지 방법들로 의미가 있는 변수를 찾아내거나 의미가 없는 변수를 걸러 주는 작업을 통해 데이터의 퀄리티를 보강하거나 분석 방향성을 수정할 수 있다. 

Feature Engineering: Catergorical features

Catergorical feature도 (Numerical feature만큼 볼륨이 크진 않지만) 그래프, 표 등으로 파악할 수 있다. 이는 분석 목적보다는 우리가 가지고 있는 연속형 변수가 어떻게 구성되어 있는지를 보기 위한 목적이 더 크다.

*해당 포스트는 패스트캠퍼스의 바이트 디그리 EXPORT 강의에서 제공되는 데이터셋 및 자료로 작성됐다.

상황 설정

A사는 이번에 새롭게 회사를 런칭하게 되어 급여 체계를 새로 수립해야 하는 상황이다. 원활한 운영을 위해 대규모 채용을 진행할 예정이며, 이에 따라 직급별/ 직무별 급여 Band를 수립하기 위해 지원자들의 프로필 정보와 자산에 대한 데이터를 활용해 급여를 예측하는 모델을 만들고 급여 Band 설정에 베이스 데이터로 활용하고자 한다. 이러한 분석을 진행하기에 앞서, A사의 데이터 분석가인 나는 문제 상황과 데이터를 낱낱이 살펴보고 유의미한 데이터 수집 환경과 분석 프로세스를 갖추고자 하고 있다.

문제 해결 프로세스 정의

내가 이 데이터 예측 모델을 만들고자 하는 것은 A사 내부의 인력 운영 효율의 실질적인 개선을 하기 위함이다. 이를 위해 현재 A사의 문제에 대해 정확히 정의해야 하고, 이 모델 개발을 통해 얻게 될 이득과 구체적인 실행 방안에 대해서도 숙고해봐야 한다. 모델 구축 이후에는 해당 모델링을 통해 진행하는 과정이 데이터로 남는 시스템을 선구축해 놓아야 하며 이 모델이 본래 목적인 문제 상황을 해결하는 데 얼마나 기여했는지에 대한 기준도 명확히 세워 놓아야 한다. 나는 위와 같은 의문을 해소하기 위한 시트를 미리 만들어 두고 작업하고자 한다. 그 내용은 아래와 같다.

문제정의

▶ 현상 : 신규 비지니스 진출로 인한 급여 Band 부재
▶ 리스크 : 한정된 채용 비용을 효과적으로 사용할 수 없고, 목표한 인원수의 채용이 어려워짐, 연봉이 과도하게 설정되어 관리 비용의 증가

기대효과
▶ 급여 Band 신설로 채용 기반 준비
▶ 급여 Band 활용 채용 진행으로, 채용 비용 효율화

해결방안
▶ 급여(Wage) 예측 모델 개발
▶ 신입 직원 지원 시 이력서를 통해 기본 정보들을 수집
▶ 수집된 Data를 활용하여 지원자의 연봉 Band 판단

성과측정
▶ As-is : X
▶ To-be : 주어진 채용 비용안에 목표한 인원 채용 달성 여부


모델운영 
▶ 신입 직원 지원 시 이력서를 통해 기본정보들을 수집
▶ 수집된 Data를 활용하여 지원자의 연봉 Band 판단
▶ 지원자 발생 시점마다 모델링 수행 후 결과 출력

Data Info Check : 데이터 전처리

문제 해결 프로세스가 구체화됐다. 데이터 분석을 시작하기 전에, 나는 다룰 데이터를 천천히 살펴보면서 데이터의 골조를 파악하는 과정을 거치고, 동시에 전처리도 진행해 주기로 했다. 기존 포스트에서 다뤘던 것처럼, Tidy data로 만들어 줘야 하겠고, 문자형 데이터를 숫자형 데이터로 인코딩해주는 과정도 필요할 것이다. 이번 챕터에서는 아래와 같은 다섯 개 부분에서 기본 정보를 살펴 보고 동시에 전처리 진행해 줄 것이다.

  (1) Data shape(형태) 확인
  (2) Data type 확인
  (3) Null값 확인 (※ 빈 값의 Data)
  (4) 중복 데이터 확인
  (5) Outlier 확인 (※ 정상적인 범주를 벗어난 Data)  

(534, 11)

우선 shape로 데이터의 형태를 확인해 준다. 처음에 나오는 것이 로우 값, 뒤이어 나오는 것이 컬럼 값이다.

전체 데이터를 출력해 보면 아래와 같이 출력된다. 11개의 컬럼이 줄지어 있고, 전체 534개의 로우 중 null 값은 없다. 대부분의 데이터 타입은 int지만, WAGE는 float 타입을 가지고 있다. 시간당 달러 수입이기 때문에 소수점이 포함된 값이 나와서 그럴 거다.

isnull로 전체 null 개수를 체크하고 그 값을 sum으로 더하면 전체 null 개수가 나올 거다. null 값이 너무 높은(95% 이상) 컬럼은 데이터를 삭제해 주거나 추가적으로 수집 후 분석을 진행해 주는 게 좋다. 물론 이 데이터셋에서는 위에서 로우 수로 한 번 체크했듯이, null값이 포함된 셀은 없다. 

duplicated로 중복을 체크해 주고 그 값을 센다. True인 값은 중복값이다. 여기서는 False 534개기 때문에 전체 로우 중에 중복값이 없다는 뜻이 되겠다.

null, 중복 말고도 0 값의 비율도 체크해 본다. 0이 98% 이상일 경우에는 무언가를 분류하는 과정에서 변별력이 없다고 봐도 무방할 테니까. 아래 표에서 보이듯 지워줄 만큼 변별력 없는 데이터는 없었다.

Data Info Check : 탐색적 데이터 분석(EDA)

위에서 일차적으로 형식을 점검한 데이터를 바탕으로 샘플 자료를 뽑아 보면서 데이터 값 자체가 분석이 가능하게 정제돼 있는지 점검한다. 특히 numeric(숫자형)과 catergorical(범주형) 변수를 명확히 나눠 두고 인지하고 있어야만 한다. 데이터가 어떤 범주 안에서 움직이고 있는지 대강 파악될 것이다.

numeric과 catergorical 변수를 각각 나눠서 프린트해 본다. 물론 판단 방식이 단순히 값이 숫자로 이루어져 있는지, 문자로 이루어져 있는지 체크하는 과정이기 때문에 이 데이터를 맹신할 순 없다. 예를 들면, 성별이나 국가처럼 단순히 분류를 위한 숫자값은 catergorical에 더 가깝다. 주석은 위와 같은 맥락에서 유니크한 값이 5% 미만인 컬럼을 catergorical로 바꿔 놓는 식이다. 

위 식처럼 전체 컬럼을 출력해 보면, 주석의 방식을 적용 시 catergorical로 분류될 컬럼이 꽤 많아 보인다. 주석과 조금 다른 방법으로, catergorical 변수가 많이 소속되는 meta 탭과 비교분석하는 절차를 통해 catergorical 변수를 재정의해 주자.

numerical은 이 경우에 메타 데이터에 소속되지 않은 컬럼이 된다.

Data Info Check: 좀만 더 조회

아래로는 조회에 추가적으로 활용해볼 수 있는 식이다.

해당 포스트는 패스트캠퍼스의 바이트 디그리 EXPORT 강의에서 제공되는 데이터셋 및 자료로 작성됐다.