[미디어파인 시사칼럼] ‘데이터 홍수’, 컴퓨팅을 기반으로 한 3차 산업 시대의 도래와 함께 우리 전반을 아울렀던 말이었다. 기하급수적으로 늘어나는 정보의 양과 데이터의 홍수 속 우리는 정보의 수는 많았지만 그만큼 질적으로 높은 데이터를 골라내는 것이 필요해졌다.
4차 산업 시대, 이제는 데이터의 분석과 활용이 필요한 시대가 됐다. 넘쳐나는 정보와 데이터들간의 유용한 의미를 찾아내는 자. 데이터마이너의 등장이 바로 지금 이 시대를 설명한다.
현대사회에서는 인터넷 포털사이트, SNS, 교통카드와 카드결제 등 일상에서 매일 대규모의 데이터가 생성되고 있다. 십만, 백만 단위를 넘어서는 이런 대규모의 데이터를 ‘빅데이터’라고 부른다.
계속해서 데이터가 쌓이면서 이러한 데이터를 쓸모 있는 형태로 바꾸어 활용할 필요성이 커졌고, 이러한 작업을 수행하는 직업인 데이터 마이너가 생겨났다. 데이터(자료), 마이너(광부). 데이터마이너는 자료를 캐는 광부라는 의미다.
데이터마이너는 데이터를 원하는 형태로 바꾸고 분석해서 필요한 정보를 찾아낸다. 정보를 분석하는 도구(소프트웨어)를 통해 데이터를 다양한 차원과 관점에서 분류하고 요약하고 분석하며 데이터마이닝을 하기에 앞서 목적을 파악하고, 어떤 형식으로 데이터마이닝을 할지 결정한다.
그 다음 필요한 데이터를 결정하고, 분석 목적에 맞는 형태로 데이터를 바꾼다. 데이터마이닝을 실행해 필요한 정보를 찾아낸 뒤, 그 결과가 유용한지 판단한다. 또한 분석을 통해 데이터에 오류가 있지는 않은지를 알아내기도 하며, 학문적인 이론이나 상식과 관계없이 순수하게 데이터의 연관성을 분석한다.
미국의 데이터마이너는 기업에서 마케팅과 고객관리를 하거나, 금융권, 정부산하기관, 의료기관 등에서 근무하기도 한다. 프리랜서로 활동하며 고객의 요청에 따라 데이터마이닝을 실행하는 경우도 있다.
기업 또는 고객이 원하는 정보가 무엇인지 생각하여 분석할 데이터와 데이터마이닝 방법 선택하고, 분석도구를 통해 데이터를 분석하고 결과에 의미를 부여하며, 분석한 결과가 유용한지를 평가하는 업무를 맡는다.
빅데이터 분석, 데이터 마이팅의 선도국인 미국에서는 컴퓨터, IT, 시스템 엔지니어링과 관련된 분야의 학사학위가 기본으로 요구되며, 석사학위가 필요한 경우도 있다고 알려져 있다. 다양한 프로그래밍 언어와 네트워킹 플랫폼과 관련한 자격을 필요로 하며, 유용한 컴퓨터 자격으로 IBM과 Oracle사에서 제공하는 관련 자격이 있다.
우리나라에서도 이와 같은 데이터마이너 수요가 늘어날 전망이다. 특히 본격적인 4차산업 시대를 맞은 국내 역시, 빅데이터에 관한 중요성이 점차 커지고 있는 실정이다. 정보시스템 시장의 중요성과 그 확장세가 거듭 커지고 있는 상황에서 국내 역시 데이터 분석을 통해 유용한 정보를 발굴하는 데이터 마이너의 필요가 커지고 있다.
국내에서는 2001년부터 데이터마이닝에 관한 학술과 기술을 발전시키고 보급하기 위해 한국BI 데이터마이닝학회가 설립, 운영되고 있다.
추후 제조업, 서비스업, 공공부문, 정보통신 등 산업간의 협력이 더욱 전망되는 최근, 데이터마이너가 활동할 수 있는 분야의 확장과 전문성 있는 데이터마이너에 대한 수요는 계속 높아질 것으로 예상된다.