분류없음2013.01.04 16:11

2010년 6월부터 2012년 7월 말까지 내가 엔씨소프트에서 했던 일은 빅데이터와 관련된 일이었다. 회사에서 나에게 맡긴 공식 직함은 '데이터센터'의 센터장이었으나, 그 업무와 관련하여 조직원들에게 어떤 비전을 제시하고 또 어떤 경쟁력(회사 내에서건, 회사 밖과 비교해서건)을 갖추어 나갈 것인가 고민하다 2010년 7월부터 빅데이터라는 말과 Data Scientist/Engineer라는 말을 포함하여 조직과 조직원의 비전을 만들어 나가기 시작했다.

작년 한 해 동안, 그리고 아마 올해도, 빅데이터라는 말이 엄청나게 화두였는데 엔씨소프트 내부적으로는 2010년부터(조금 거슬러올라가면 2009년부터) 대량의 데이터를 다루는 일을 했었다. AION의 경우 하루에 떨어지는 게임 로그량이 350G 정도 되었고, 작년 여름에는 리니지도 새로운 로그 포맷으로 바꾼데다가 블레이드앤소울까지 서비스를 시작하여 하루에 떨어지는 데이터만 해도 1T 정도였었으니 전통적인 RDBMS에 로그를 담아서 처리하기에는 어려운 환경이었다.

그렇게 2년을 빅데이터라는 새로운 기술(?)을 업무에 적용하고 그것을 이용하여 결과물을 내는 업무 환경에 있다가 2012년 여름 회사를 나오게 되었는데, 지난 2년간 빅데이터와 관련되어 얻은 개인적인 결론 중 가장 중요한 것을 떠올려본다면 바로 서비스 디자인의 중요성이다. 좀 더 빅데이터라는 것에 초점을 맞추어 말해 본다면, 데이터 기반의 서비스 디자인의 중요성.

빅데이터 분야에서는 꽤 유명한 링크드인이라는 회사의 예를 들어서 얘기해 보면, 링크드인의 Chief Data Scientist였던 DJ Patil이라는 사람이 처음 Data Science 조직을 만들고 나서는 데이터 분석 결과를 여러 조직에게 제공했지만 그 결과가 제대로 쓰이지 않아서 결국 DJ Patil이 담당하는 조직 내에서 아예 서비스를 하나 직접 만들어서 보여주었고, 그 결과 해당 조직에서 만든 서비스를 링크드의 실제 웹서비스로 제공하면서 회사와 서비스가 좀 더 data driven 방향으로 바뀌게 되었다고 한다.

마지막으로 엔씨소프트를 떠나기 전에 어떤 한 분이 나에게 이후의 career와 관련하여 상담을 요청한 적이 있었고, 그 분이 생각하는 career중 하나가 바로 Data Scientist였었다. 그런데 가만히 듣고보니 그 분은 데이터 분석을 하는 일에는 굉장히 재미를 느끼고 있었으나, 좋은 데이터 분석 결과를 다른 조직에서 왜 제대로 사용을 못하는지에 대해서 약간 불만을 갖고 계셨던 것 같았다.

그 분께 조언 드린 내용은 다음과 같다.

"지난 2년간 일을 해 보니 결국 데이터 분석을 잘 했는데 다른 조직에서 왜 안 써줄까 하는 것은 그냥 데이터 쪽을 다루는 사람이 자기의 업무 영역에 선을 그어 놓고서 나는 잘 하는데 왜 다른 사람들은 못할까 하는 생각과 같은 것 같다. BigData와 전통적인 Business Intelligence가 가장 크게 다른 점은, 빅데이터로 유명한 구글/아마존/페이스북/링크드인과 같은 회사는 데이터가 사람에게 전달되는 것이 아니라 데이터가 이미 그 회사들이 제공하는 서비스에 전달되어 바로 이용되지만, 전통적인 B.I.는 데이터 분석 결과가 사람들에게 제공된다는 차이가 있다고 본다. 

그래서 앞으로 빅데이터와 관련하여 정말 중요한 사람은 데이터 분석가도 아니고, Hadoop으로 대표되는 어떤 기술을 잘 알고 사용하는 엔지니어도 아니라, 실제 데이터 기반의 서비스(그 서비스에서 나온 데이터를 해당 서비스에서 입력으로 사용하여 더 좋은 경험을 제공할 수 있는 구조를 갖춘 서비스)를 디자인할 수 있는 사람인 것 같다."

빅데이터라는 말이 굉장히 기술적인 용어같지만, 결국 어떤 트렌디한 말이나 기술이 중요한 것이 아니라, 핵심은 실제로 고객에게 어떤 가치를 줄 것인지를 고민하고 그 가치를 만들어 내는 수단으로 데이터가(사람이 아닌 시스템 단에서 자동으로) 잘 활용될 수 있도록 서비스를 디자인하는 것. 그것이 핵심이라고 생각한다. 

현재 한국의 빅데이터 시장은, 기업 내 조직과 업무 프로세스 등으로 인해서 사실 데이터를 다루는 사람들이 실질적으로 서비스를 기획해서 내놓지 못하는 상황에서, 전통적인 B.I. 업무와 관련하여 새롭게 하드웨어와 소프트웨어, 그리고 용역을 팔고 있는 그런 상황인 것 같다. 현대카드에서 내놓은 마이메뉴 정도가 눈에 보이는 결과물인듯. 

그런데 가만히 생각해 보면, 현대카드의 마이메뉴 서비스도 RDBMS 한 대 정도면 충분히 처리할 수 있는 데이터양에 기반한 서비스다.(라고 추정한다. 귀찮아서 추정의 공식은 생략. ㅎㅎ)

결국 핵심은 '빅'이 아니라 데이터가 '어떻게' 활용되는 서비스를 만들 것인가이고, 결국 중요한 건 분석이나 기술이 아니라 서비스 디자인이라는 점. 


신고
Posted by 김범준 김범준티스토리