숲속, 바다 속, 땅속에 무엇이 있을까? 우리는 잘 알지 못한다. 그래서 탐험을 하거나 탐사를 한다. 숲과 바다, 땅 속을 잘 알 수 있다면 먹고사는데 그리 어렵지 않을 것이다. 지하자원이나 고기떼가 어디 있는지 알 수 있다면, 또 산삼이나 불로초가 있는 곳을 알 수 있다면 왜 이 고생을 하고 살겠는가 말이다. 그러면 바다나 숲, 땅 속 말고 우리가 모르는 자원의 보고(寶庫)는 어디일까?

스마트폰이 나오고 초고속 통신망이 갖추어지니 사람들이 SNS를 통해 소통하는 데이터가 방대하다. 많은 데이터를 크던지 많던지 간에 빅 데이터(big data)라고 불렀다. 이렇게 엄청나게 늘어나는 데이터의 특성을 Volume 이라고 한다. 데이터는 글과 사진, 소리, 동영상 등 다양한 형태(Variety)로 존재한다. 또한 엄청 빠르게 생겨난다(Velocity)는 특성이 있다. 이 3가지 특성을 V3라고 하였다. 

여기에 더하여 이 많은 데이터를 잘 가공하면 정확한 지식 또는 진실한 해답(Veracity)을 얻을 수 있다거나 가치(Value)를 창출할 수 있다고 하여 V4, V5까지 들고 나서는 사람도 있다.

숲이나 땅, 바다 속이 아니라도 사람들이 생각하고 검색하고 주고받는 일상에는 흔적인 데이터가 남고 이 빅 데이터를 수집해 신속하고 정확하게 분석할 수만 있다면 무언가 얻을 것이 있으리란 점에는 이의가 없다. 그래서 검색사이트 운영자는 검색 키워드를 분석하고 SNS 운영자는 사람들이 소통하는 내용을 분석하는 것이다. 

최근에 나오는 자동차는 전자적으로 제어된다. 자동차의 엔진 상태, 실내 온도나 조명, 타이어의 압력이 어떠한지 뿐만 아니라 도로 상태나 주변 차량, 신호의 정보까지도 읽고 자동으로 반응하게 된다. 그래서 자동차는 기계장치라기보다는 전자장치가 되었다. 

자동차가 움직이며 읽고 반응하는 데이터가 바로 빅 데이터이다. 만약 자동차 제조회사에서 어떤 자동차의 운행시 발생하는 각 부품의 상태정보를 받는다면 정비가 필요한 부품과 그 시기를 알려줄 수도 있을 것이다. 고장을 미연에 방지하고 안전 운행을 하게하며 수명을 연장시키는 방법이다. 자동차만 그렇겠는가?

너른 서울 바닥에는 자정이 다가와 지하철이 끊어지면 택시가 귀하신 몸이 된다. 승차거부는 물론 바가지요금은 각오해야 한다. 이런 저런 이유로 서울시가 따로 노선을 정하여 심야버스를 운행한다. 당연히 많은 이용자를 효율적으로 운행하도록 노선을 정해야 하는데 모 통신사의 스마트폰 이용자 데이터와 서울시가 수집한 교통 데이터를 함께 분석하여 심야에 사람들이 많은 곳으로 노선을 만들었더니 성공적이다. 적용할 분야는 너무 많다. 

일상생활에서 발생하는 빅 데이터를 제대로 수집하고 가공하지 못해서나 저 바다의 고기떼를 두고도 어디에 있는지를 몰라 잡아오지 못하는 것과 다를 바 없다.

우리가 적은 비용으로 사람들의 생각을 알아보기 위해 여론조사를 한다. 대한민국 국민들의 생각을 알아보기 위해 질문지를 만들어 전화로 1,000명의 의견을 듣고 분석하여 나온 것을 전 국민의 생각이라고 하기에는 부담스럽다. 전 국민을 다 조사할 수가 없기 때문에 적용가능한 것이 국민들이 검색하고 소통하는 빅 데이터를 분석하는 것이다. 온라인에서 사람들이 활동하는 내용을 보면 수많은 벌들이 윙윙거리며(buzz) 사는 것처럼 보인다. 버즈 분석을 하면 보물을 찾을 수도 있다. 어떤 기업이 영업을 목적으로 할 때 특정 제품과 서비스에 대한 반응을 모니터링하고 사람들의 생각을 분석하여 그 집단에 적용할 방안을 찾는 타깃 마이닝(mining; 발굴)을 하는 것이다.

재판은 증거로 말한다. 증인이나 증거가 있어야 한다. 먹고 사는 일도 증거인 데이터로 말하는 시대가 되었다. 그것도 확실하게 많은 데이터로 증명해야 하는 것이다. 데이터란 그 자체로는 의사결정에 활용할 수 없는 어떤 객체나 사실이다. 사람과 관계있는 개인정보 데이터는 사생활을 보호해야 되기 때문에 가명이나 익명으로 처리해야 한다. 

가공하여 의사결정에 쓸 수 있는 상태의 것을 정보(information)라고 한다. 이 정보에서 패턴을 추출하여 보편타당한 지식(knowledge)을 낳고 이 지식을 인류 사회에 유익하게 활용하면 지혜(wisdom)가 되는 것이다. 

쓰레기도 잘 가공하면 정보와 지식을 얻고 지혜를 발견할 수 있다는 것이니 놀랍기만 하다. 어디에 귀하지 않은 것이 있겠는가? 분석기술이 또 놀랍다.​