빅데이터의 분석이란?? (경영 빅데이터 분석사 공부 中)

안녕하세요 아프락사쓰입니다.

 

엄청난 데이터가 있지만, 그속에서 가치있는 데이터를 뽑아내지 못하면 과연 그 데이터의 가치는 좋을까요?

이런 이유로, 빅데이터의 가장 중요한 부분은 분석이라고 생각 되어집니다.

이번 포스팅에서는 "빅데이터의 분석이란"에 대해 알아 보는 시간을 가지도록 하겠습니다.

"경영 빅데이터 분석사" 를 공부하던 중, 해당 내용이 도움이 될것 같아서 분석에 대한 내용을 교재에서 발췌하였습니다.

 

1. 분석의 중요성

 

방대한 양의 데이터가 쏟아져 나오면서 빅데이터가 최대 화두가 되었다. 빅데이터는 대량의 테이터를 포함하여 다양한 유형의 데이터와 실시간성 데이터를 표함하는 의미이다. 그러나 더 정확한 의미로는 데이터 그 자체 뿐 아니라 데이터에 대한 분석을 포함하고 있다. 즉 빅데이터의 부상은 쏟아져 나오는 데이터에 대한 분석을 토대로 의사결정의 질적 수준을 높이고 경영의 생산성이나 공공부문의 효율성을 제고하는 것이 근원적 이유이다. 결국 빅데이터의 핵심적 키워드는 분석이라는 것이다.

 

지금의 트렌드에서 분석이 중요하게 대두된 이유는 현명한 의사결정을 지원하는 유용한 정보는 분석을 통해 제공받을 수 있기 때문이다. 개인이나 기업, 혹은 국가가 주어진 상황을 타개하거나 소기의 목적을 달성하기 위해서는 합리적이고 과학적인 의 사결정을 할 수 있어야 한다. 국가의 정책, 기업의 전략, 개인의 삶은 의사결정을 통해 이루어지는 것이 대부분이며 이는 의사결정으로부터 지대한 영향을 받기 때문이다. 단 한 번의 현명한 결정으로 크게 도약하는 사례가 있는가 하면 단 한 번의 잘못된 의사결정으로 엄청난 시련을 겪는 것을 우리는 현실 속에서 쉽게 볼 수 있다.

 

사이먼에 의하면, 의사결정은 탐색, 설계, 선택, 실행의 과정을 거친다. 이는 문제점을 인식하고 이를 해결하기 위한 대안을 모색한 뒤, 여러 대안들을 평가하여 그중에서 최선을 선택하는 것으로써 그 과정에서 계량적 정보와 비계량적 정보를 모두 고려한다.

 

여기에서의 비계량적 정보는 문화적, 사회적 배경이나 법적, 정치적 변수에 의한 영향을 고려하는 것이지만, 투명하고 합리적인 의사결정에서는 계량적 분석 정보가 의사결정에 더욱 중요하다. 특히 불확실성이 높고 의사결정이 초래하는 파급효과가 큰 의사결정을 위해서는 현재 우리가 갖고 있는 데이터를 잘 분석하고 활용해야 하는 것이다. 그러나 많은 경우 데이터의 중요성이나 분석의 힘을 잘 인식하지 못하고 의사결정에 활용할 줄 모른다. 이는 결과적으로 과학적이지 못한 의사결정으로 이어지고 그로 말미암아 초래되는 비용이나 손실은 계산할 수 없을 정도로 큰 경우가 허다하다.

 

시야를 개인 수준에서 기업(조직) 수준으로 확대하면 의사결정이 미치는 파급효과가 훨씬 크므로 분석은 더욱 중요해진다. 오늘날 기업은 치열한 경쟁 속에서 차별화 혹은 원가 우위를 획득, 유지해야만 살아남는 환경을 맞이하고 있다. 이와 같은 환경에서 분석은 기업의 전략 수립과 의사결정에 있어 필수 불가결한 도구로 유용하다. 그간 전통적으로 기업에게 경쟁 우위를 제공했던 수단들은 이제 일상적인 비즈니스 수단이 되었다. 특히 글로벌 경제가 성숙됨에 따라 지리적 이점이나 정부의 시장 보호 장치는 거의 사라졌다. 따라서 경쟁 우위는 제품이나 서비스의 획기적인 혁신에서 찾아야 하는데 현실에서 획기적인 혁신을 달성하기란 그리 쉬운 일이 아니다. 또한 독점적 기술 역시 개발하기도 매우 어려울 뿐만 아니라 개발에 성공한다고 하더라도 급속하게 복제되는 것이 현실이다. 이런 상황에서 경쟁 우위를 달성하기 위한 유일한 방법은 경영에서의 효율성을 높이고 현명한 의사결정을 하는 것이며, 분석은 이런 목적을 달성하는 데에 안성맞춤의 도구가 된다.

 

 

2. 분석의 개념

 

사전적인 의미의 분석은 대상, 표상, 개념 등을 그것의 부분이나 요소로 분해하는 것이다. 처음에는 어떤 대상이 막연한 전체로 주어지지만, 이것을 분석하여 그 여러 가지 측면이나 요소를 추출하여 그러한 것들의 상호관계를 파악하고 종합하는 것에 의해서 그 대상은 명확하게 인식되는 것이다. 즉 분석은 어떤 현상(문제)에 대해서 관련된 데이터를 수집한 뒤 이를 분해하여 데이터 속에 숨어 있는 의미 있는 패턴을 찾아내서 문제 해결이나 의사결정 등에 활용하는 것을 말한다. 여기에서 현상이란 우리의 연구 대상이 되는 자연이나 사회 속의 모든 것으로써 개인의 행동이나 심리까지도 포함한다. 따라서 분석은 우리가 관심을 갖는 모든 문제를 풀기 위하여 적용할 수 있다.

 

 

3. 분석의 유형

 

사실 분석이란 여기에서 말하는 데이터 분석과 관련되는 것 외에도 다양한 분야에서 널리 사용되어 온 개념이다. 예를 들어 기업의 회계 및 재무자료를 토대로 하는 분석에는 재무비율, 성장성 분석, 활동성 분석, 수익성 분석 등 다양한 유형의 분석이 포함된다. 또 증권가에서는 주가 분석, 패턴 분석, 추세 분석, 기술 분석 등의 분석 기법 등을 통해 주식투자 결정의 효과정을 제고하고 있다. 이 외에도 유형 분석, 요구 분석, 시스템 분석, 전략 분석, 상권 분석 등 우리 생활 주변에는 다양한 유형의 분석이 이루어지고 있다.

 

이는 분석이란 보다 나은 의사결정을 위한 수단임을 보여주는 개념이라 할 수 있다. 여기에서 분석은 그 분석이 수행되는 목적에 따라 다음과 같은 유형으로 구분해 볼 수 있다. 첫째, 불확실한 상황에서 현명한 의사결정을 하기 위한 데이터 수집, 분류, 분석, 해석, 발표의 체계인 통계가 대표적인 분석 기법이다. 둘째, 과거 데이터와 변수 간의 관계를 이용하여 관심이 되는 변수를 추정하는 예측 기법이 있다. 셋째, 많은 데이터 속에 숨겨져 있는 유용한 패턴을 추출하여 분류, 군집, 순차, 연관, 분석, 변칙 탐지 등의 목적으로 활용하는 데이터마이닝 기법이 있다. 넷째, 주어진 제한 조건을 만족하면서 어떤 기준(목적함수)을 최대한(혹은 최소화)하는 해법을 구하기 위한 수학적인 기법으로서 최적화 기법이 있다. 한편 통계에서는 빈도분석, 기술통계분석, 교차분석, 상관관계분석, 요인분석, 회귀분석, 판별분석, 군집분석, 다차원척도법 등 분석기법을 활용하고 있다.

 

이상과 같이 다양한 유형으로 분석을 구분하는 것은 편의상 유용하기는 하지만 분석 기법 측면에서는 유형 간에 상당한 중복이 있다고 할 수 있다. 예를 들어 회귀분석은 예측이나 데이터마이닝에서는 핵심적 분석기법인데 사실 이는 대표적인 통계기법이다. 또한 시계열 분석도 통계와 예측에서 흔하게 사용된다. 따라서 분류 유형의 명확성 보다는 특정 분석 기법이 어떤 목적으로 사용되는지에 대한 이해가 더욱 중요하다 할 수 있다.

 

 

4. 분석적 의사결정 유형

 

전자화와 디지털화 등으로 정형, 비정형 데이터가 기하급수적으로 늘어나고 있다. 그리고 다양한 분석을 가능하게 하는 컴퓨터의 하드웨어와 소프트웨어의 기능이 확장되는 것과 비교해 볼 때 비용이 크게 하락하여 분석을 위한 환경이 크게 개선되고 있다. 이러한 여건 속에서 분석을 전략적으로 활용하려는 추세는 이제 거스를 수 없는 대세가 되고 있다. 즉 빅데이터 시대의 도래로 앞으로 수십년간 빅데이터를 활용한 분석이 모든 산업과 경영의 기능을 크게 바꾸리라 예상된다.

기업 경영 분야에서는 전통적으로 계량적 분석과 밀접한 마케팅, 생산, 회계, 재무 분야에서 뿐만 아니라 인사관리, 연구개발, 인수합병 등 기업 내 거의 전 분야에서 운영의 효율을 높이고 현명한 의사결정을 하는데에 데이터 분석을 활용하고 있다.

 

 

저는 분석의 여러 유형은 세번쨰인 데이터마이닝 기법에 큰 관심이 있습니다.

앞으로 더욱더 공부하여 도움이 되는 자료를 포스팅하도록 하겠습니다.

 

감사합니다.