완벽함에 수렴하는 데이터는 어떤 형태일까, Tidy data

 

 

 

 

모든 사람들의 생각은 다르다. 엑셀 파일 몇 번만 나눠 봐도 안다. 내게 중요한 컬럼과 네게 중요한 컬럼이 다르고 네가 보고 싶은 값과 내가 보고 싶은 값이 다르다. 탓할 수는 없다. 분석은 분석 목적에 따라 그 형태를 달리 한다. 한 데이터로 뽑아낼 수 있는 분석은 천차만별이다. 내게 완벽한 데이터가 네게 망한 데이터가 될 수 있다는 걸 의미한다. 전달할 사람의 마음을 읽는 독심술사가 아니라면 네 안의 양식을 맞춰 줄 수는 없다. 결국 우리 모두는 한 길 사람 속을 못 읽은 죄로 전체 데이터 분석의 7~8할에 걸치는 시간을 데이터 전처리 과정에 소모하고 있단다.

 

 

내게 좋은 데이터와 네게 좋은 데이터는 다르다.

 

 

도대체, 전달하기에 완벽한 데이터란 어떤 데이터일까. 데이터 A와 데이터 B 중 모두에게 조금 더 나은 데이터가 있고 데이터 C와 데이터 D 중에도 역시 모두에게 조금 더 나은 데이터가 있고 이런 과정을 반복해 나가다 보면 언젠가 최상급에 한없이 가까운 데이터에 닿을 텐데, 그 데이터는 어떤 형태를 하고 있냔 것이다. 

 

이런 의문에 답을 줄 수 있는 개념이 Jeff Leek이 만든 Tidy data다. 위키백과에 기재된 Tidy data의 정의는 이렇다. "밑바닥부터 시작할 필요 없는 데이터". 어떤 분석에도 가공되기 용이한 표준화된 양식을 가져다 둔다면 너 나 우리의 퇴근 시간은 조금 더 앞당겨지지 않겠냐는 거다. 이런 앞당겨짐이 지속적으로 반복된다면 언젠가 정시퇴근도 가능해지겠지.

 

 

 

 

Tidy data의 특징

 

Jeff Leek의 The Elements of Data Analytic Style에 따르자면 Tidy data의 특성은 다음과 같다.

 

   각 변수는 개별의 열(column)으로 존재한다.
   각 관측치는 행(row)를 구성한다.
   각 표는 단 하나의 관측기준에 의해서 조직된 데이터를 저장한다.
   만약 여러개의 표가 존재한다면, 적어도 하나이상의 열(column)이 공유되어야 한다.

 

      변수(Variable): 예를 들면 키, 몸무게, 성별
      값(Value): 예를 들자면 152 cm, 80 kg, 여성
      관측치(Observation): 값을 측정한 단위, 여기서는 각각의 사람

 

 

 

Tidy data의 예시

표 A (=Wide Format)

이름	성별	국어	수학	영어
김철수	남	63	90	93
이영희	여	91	39	38
신짱구	남	44	79	88

 

 

표 B(=Long Format)

이름	성별	과목	점수
김철수	남	국어	63
김철수	남	수학	90
김철수	남	영어	93
이영희	여	국어	91
이영희	여	수학	39
이영희	여	영어	38
신짱구	남	국어	44
신짱구	남	수학	79
신짱구	남	영어	88

 

 

글로 쓰니 조금 어렵다. 직관적으로 예시를 들어 보자. 위 데이터 중 표 A는 Untidy data이고 표 B는 Tidy data이다. 차이점이 보일 것이다. 왼쪽은 '국어, 수학, 영어'라는 '과목'이 각각 따로 분리돼 노출됨으로써 각 변수가 개별의 열로 존재한다는 Tidy data의 조건을 만족하지 못 했다. 반대로 표 B는 기준을 만족한 Tidy data다.

 

 

누가 보든 잘 찾을 수 있어야 좋은 데이터다.

 

 

조금 의아할 수 있다. 과목별 점수는 중요한 분석 지점이고 표 A 역시 표 B와 다른 관점에서 충분히 시사점이 있어 보여서다. 맞다. Untidy data 역시 나쁘다고 말할 순 없다. Tidy data 대비 분석에는 오히려 용이하다. 이런 관점에서 Untidy와 Tidy data를 각각 Wide, Long format으로 부른다. 절대적으로 우열을 가릴 수 있는 건 아니지만, Tidy data의 경우 데이터 시각화, 가공, 저장 등 컴퓨터가 처리하는 업무에 최적화되어 있기 때문에 로우 데이터의 표준화된 포맷으로 삼기에는 더없이 좋은 형식이다. 

 

 

 

 

탐색적 데이터 분석(Expolratory Data Analysis) 도구로의 Tidy data

 

John Tukey 교수는 "'잘못된 질문'에 대한 '확실한 답'은 결론이 확실할 수 있으나, 때론 '정확한 질문'에 대한 '대략적인 답'이 더 낫다고 했다. 그가 구축한 탐색적 데이터 분석(Expolratory Data Analysis) 이론은 이처럼 데이터셋 자체를 샅샅이 뜯어 보고 각 데이터 사이의 문맥을 더듬어 가면서 변수 간의 관계를 찾아가는 분석 방식이다. 그래서 이 이론에서는 유연한 데이터 시각화/ 가공이 가능한 형태로 전처리하는 것이 어떤 단계보다 우선된다.

 

다른 건 몰라도, 이런 분석 툴들의 도구로써 Tidy data는 더없이 완벽하겠다. 데이터가 점점 더 커지고 그만큼이나 관계가 옅어지고 있는 바다 한복판 같은 데이터 세계에서 Tidy data와 EDA는 우리의 든든한 나침반이 되어 줄 것이다.

 

 

 

출처

김태윤님 github

Hardly wickham 논문