[벤처칼럼] 통계적 스킬로 빅데이터를 지배하라

21세기 인터넷과 디지털 혁명은 우리가 이미 알고 있듯이 하루에도 상상할 수 없을 정도로 엄청난 데이터를 만들어내고 있다. 이러한 빅데이터는 통계적 분석스킬(statistical analysis skill)을 통했을 때 과거의 특정 패턴이나 변화의 트렌드를 파악해 미래를 예측하고 예측에 필요한 통찰력을 얻게 해준다. 또한 이렇게 얻어진 통찰력은 미래의 불확실한 상황을 보다 확실성 있는 미래로 만들어주고 기업의 잠재적인 손실을 감소시켜 주는 귀중한 전략적 자원을 제공해준다. 뿐만 아니라 기존의 고객집단을 새롭게 세분화 시켜 재분류하고 고객의 구매패턴이나 다양한 욕구를 사전에 예측해 보다 고객지향적인 마케팅해법(customer oriented marketing solution)을 가능하게 해준다.

빅데이터란 데이터의 양(volume)뿐만 아니라 데이터의 형태에 관계없이 다양한 형태(구조적/비구조적)의 데이터를 다루고 있다. 또한 데이터의 생성시점도 소비자의 소비행동과 동시에 실시간으로 일어나거나 특정 프로세스와 동시에 일괄처리 되면서 광속(光速)과 같은 속도로 생성되는 특성이 있다. 지금 우리는 디지털과 인터넷망으로 연결된 전 세계가 페이스북이나 트위터 등과 같은 SNS, 네이버나 다음의 블로그, 구글사이트나 구글어스 등 각종 사이트나 첨단장비들을 통해 상상할 수 없을 정도의 광속의 속도로 엄청난 양의 데이터를 전 세계에 퍼트리고 이를 활용하여 다양한 사업에 활용하고 있는 빅데이터시대의 중심에 서있는 것이다.

그렇다면 빅데이터는 우리 사회에서 어떻게 활용되고 있을까? 축구나 야구뿐만 아니라 F1, 크리켓, 테니스 경기 등에서는 이미 빅데이터를 활용해 승률을 예측하는 것이 어렵지 않은 현실이 되었다. 미국과 유럽에서는 자동차에 주행정보기기를 달아 자동차 주행정보가 실시간으로 보험회사에 전송이 되고, 보험회사는 이를 분석해 고객에게 피드백을 시켜주어 안전운전에 활용하도록 하고 있다. 뿐만 아니라 고객의 주행정보를 분석하여 보험료를 할인하거나 할증하는 정보를 활용하고 있다. 빅데이터를 활용한 ‘빅데이터 보험’은 3년 내 시장이 3~4배 정도 커질 것으로 예상되고 있으며, 생명보험분야로도 확대되고 있는 실정이다.

우리나라에서도 빅데이터 활용이 본격화되고 있다. 서울시와 SK텔레컴은 주말 심야시간대 휴대폰 발신신호가 많은 지역을 실시간으로 파악하여 심야버스 운행경로를 조정하고 있으며, 경기도에서는 도민들이 많이 다니는 지역이나 범죄관련 빅데이터 정보를 활용해 적정 지역에 CCTV를 설치해 범죄율을 낮추거나 예방하는데 빅데이터를 활용하고 있는 것이다. 이 밖에도 다양한 분야에서 빅데이터가 활용되고 있다.
그렇다면 빅데이터를 지배하기 위해 왜 통계적 스킬이나 역량이 필요한가? 그것은 어떤 분야에서든지 데이터를 수집하고 분석해서 가장 빠른 답을 제시해줄 수 있는 것이 바로 통계학이기 때문이다. 통계학은 수학이라기보다는 모든 현상의 특성이나 패턴을 일목요연하게 요약해서 사용자로 하여금 통찰력을 얻게 해주는 마법의 지팡이라고 할 수 있다. 각종 데이터들간의 상관성을 파악하거나 어떤 사건의 원인과 결과를 파악하기 위한 인과성을 연구할 때 통계적 지식이나 스킬은 매우 유용한 통찰력을 제공해준다. 또한 유사한 니즈를 가진 소비자들끼리 군집화하여 세분시장을 구성하여 마케팅 전략적 사고를 가능케 하거나 불량품의 원인을 찾아 완벽한 품질(6시그마 품질, 99.99966%의 양품률)을 구현하도록 하는 등 이러한 일련의 방법들이 통계적 사고를 통해 가능한 것이다.

우리가 살아가는 현실세계는 모두 데이터로 이루어져 있다고 해도 과언이 아니다. 우주의 생성되고 인간이 지구상에 나타나기 이전부터 세상은 데이터에 의해 생성되고 성장하며, 소멸되어져 왔다. 그러나 이러한 데이터는 통계적 사고를 거치지 않으면 단지 데이터로만 존재할 뿐 그 어떤 의미도 갖지 않는 쓰레기에 지나지 않는다. 통계적 사고를 통해 그 패턴이 체계화되고, 원인과 결과의 인과성을 파악할 때 비로소 데이터가 정보로 환골탈태하여 궁극적으로 인간에게 유용한 정보가 되는 것이다. 빅데이터를 쓰레기라고 치부하는 일부 비판론자들은 단지 데이터만 볼 뿐 그 이면에 숨겨진 패턴이나 상관성, 인과성, 군집성 등을 보지 못하기 때문에 일으키는 오류이다.

영국출신인 허버트 조지 웰스(H.G Wells)는 1903년에 장차 사회인이 갖춰야 될 기본적인 소양으로 읽기, 쓰기 능력과 마찬가지로 통계적 사고가 필요하다고 역설하였다. 웰스의 이러한 주장은 하버드대학 메디컬스쿨에서 사용하는 통계학 교과서의 첫머리에 쓰일 정도로 매우 유명한 이야기이다. 이와 같이 통계적 스킬이나 역량은 빅데이터시대를 살아가는 우리에게 이제 필수불가결한 소양이 된 것이다.

인터넷과 디지털이 지배하는 빅데이터시대에 접어들면서 시작된 IT와 통계학의 기막힌 결합은 빅데이터 전문가나 IT전문가들로 하여금 사용자가 직접 데이터를 탐색하고 수집할 수 있도록 편리한 도구를 만들어주고 있다. 그러나 엄청나게 생성되는 수많은 빅데이터를 단지 쓰레기로 놓아둘 것이냐 그렇지 않으면 정보로 변환하여 나만이 갖는 차별적인 인텔리젼스(intelligence)정보로 만들어 활용할 것이냐는 이제 온전히 우리 개인의 몫이 되었다. 110년 전에 웰스가 주장한 통계학적 기본소양을 갖출 때 빅데이터의 지배자가 될 것이다.
최천규 코리아씨에스평가원 원장