빅 데이터, 커서? 많아서?

연재칼럼 지난칼럼
오소영
박종배
정동희
한일수
정윤성
송영림
김준
오클랜드 문학회
박명윤
강명화
새움터
수선재
휴람
마리리
이현숙
조성현
박기태
성태용
피터 황
명사칼럼
수필기행
조병철
최형만
조기조
변상호경관
김지향
안호석
송하연
이정현
월드비전
김성국
김경훈
Bruce Lee
크리스티나 리
김수동
배태현
엔젤라 김
최성길
동진
이동온
김지향
이현숙
김영안
한 얼
Jane Jo
박승욱경관
Neil PIMENTA
김영나
정석현
Shean Shim
조석증
봉원곤
Jessica Phuang
신지수
임종선

빅 데이터, 커서? 많아서?

0 개 411 조기조

숲속, 바다 속, 땅속에 무엇이 있을까? 우리는 잘 알지 못한다. 그래서 탐험을 하거나 탐사를 한다. 숲과 바다, 땅 속을 잘 알 수 있다면 먹고사는데 그리 어렵지 않을 것이다. 지하자원이나 고기떼가 어디 있는지 알 수 있다면, 또 산삼이나 불로초가 있는 곳을 알 수 있다면 왜 이 고생을 하고 살겠는가 말이다. 그러면 바다나 숲, 땅 속 말고 우리가 모르는 자원의 보고(寶庫)는 어디일까?

 

ff9a570302ed2b32b98d83c4a6b3af2f_1573516720_4611.jpg
 

스마트폰이 나오고 초고속 통신망이 갖추어지니 사람들이 SNS를 통해 소통하는 데이터가 방대하다. 많은 데이터를 크던지 많던지 간에 빅 데이터(big data)라고 불렀다. 이렇게 엄청나게 늘어나는 데이터의 특성을 Volume 이라고 한다. 데이터는 글과 사진, 소리, 동영상 등 다양한 형태(Variety)로 존재한다. 또한 엄청 빠르게 생겨난다(Velocity)는 특성이 있다. 이 3가지 특성을 V3라고 하였다. 

 

여기에 더하여 이 많은 데이터를 잘 가공하면 정확한 지식 또는 진실한 해답(Veracity)을 얻을 수 있다거나 가치(Value)를 창출할 수 있다고 하여 V4, V5까지 들고 나서는 사람도 있다.

 

숲이나 땅, 바다 속이 아니라도 사람들이 생각하고 검색하고 주고받는 일상에는 흔적인 데이터가 남고 이 빅 데이터를 수집해 신속하고 정확하게 분석할 수만 있다면 무언가 얻을 것이 있으리란 점에는 이의가 없다. 그래서 검색사이트 운영자는 검색 키워드를 분석하고 SNS 운영자는 사람들이 소통하는 내용을 분석하는 것이다. 

 

최근에 나오는 자동차는 전자적으로 제어된다. 자동차의 엔진 상태, 실내 온도나 조명, 타이어의 압력이 어떠한지 뿐만 아니라 도로 상태나 주변 차량, 신호의 정보까지도 읽고 자동으로 반응하게 된다. 그래서 자동차는 기계장치라기보다는 전자장치가 되었다. 

 

자동차가 움직이며 읽고 반응하는 데이터가 바로 빅 데이터이다. 만약 자동차 제조회사에서 어떤 자동차의 운행시 발생하는 각 부품의 상태정보를 받는다면 정비가 필요한 부품과 그 시기를 알려줄 수도 있을 것이다. 고장을 미연에 방지하고 안전 운행을 하게하며 수명을 연장시키는 방법이다. 자동차만 그렇겠는가?

 

너른 서울 바닥에는 자정이 다가와 지하철이 끊어지면 택시가 귀하신 몸이 된다. 승차거부는 물론 바가지요금은 각오해야 한다. 이런 저런 이유로 서울시가 따로 노선을 정하여 심야버스를 운행한다. 당연히 많은 이용자를 효율적으로 운행하도록 노선을 정해야 하는데 모 통신사의 스마트폰 이용자 데이터와 서울시가 수집한 교통 데이터를 함께 분석하여 심야에 사람들이 많은 곳으로 노선을 만들었더니 성공적이다. 적용할 분야는 너무 많다. 

 

일상생활에서 발생하는 빅 데이터를 제대로 수집하고 가공하지 못해서나 저 바다의 고기떼를 두고도 어디에 있는지를 몰라 잡아오지 못하는 것과 다를 바 없다.

 

ff9a570302ed2b32b98d83c4a6b3af2f_1573516760_4427.jpg
 

우리가 적은 비용으로 사람들의 생각을 알아보기 위해 여론조사를 한다. 대한민국 국민들의 생각을 알아보기 위해 질문지를 만들어 전화로 1,000명의 의견을 듣고 분석하여 나온 것을 전 국민의 생각이라고 하기에는 부담스럽다. 전 국민을 다 조사할 수가 없기 때문에 적용가능한 것이 국민들이 검색하고 소통하는 빅 데이터를 분석하는 것이다. 온라인에서 사람들이 활동하는 내용을 보면 수많은 벌들이 윙윙거리며(buzz) 사는 것처럼 보인다. 버즈 분석을 하면 보물을 찾을 수도 있다. 어떤 기업이 영업을 목적으로 할 때 특정 제품과 서비스에 대한 반응을 모니터링하고 사람들의 생각을 분석하여 그 집단에 적용할 방안을 찾는 타깃 마이닝(mining; 발굴)을 하는 것이다.

 

재판은 증거로 말한다. 증인이나 증거가 있어야 한다. 먹고 사는 일도 증거인 데이터로 말하는 시대가 되었다. 그것도 확실하게 많은 데이터로 증명해야 하는 것이다. 데이터란 그 자체로는 의사결정에 활용할 수 없는 어떤 객체나 사실이다. 사람과 관계있는 개인정보 데이터는 사생활을 보호해야 되기 때문에 가명이나 익명으로 처리해야 한다. 

 

가공하여 의사결정에 쓸 수 있는 상태의 것을 정보(information)라고 한다. 이 정보에서 패턴을 추출하여 보편타당한 지식(knowledge)을 낳고 이 지식을 인류 사회에 유익하게 활용하면 지혜(wisdom)가 되는 것이다. 

 

쓰레기도 잘 가공하면 정보와 지식을 얻고 지혜를 발견할 수 있다는 것이니 놀랍기만 하다. 어디에 귀하지 않은 것이 있겠는가? 분석기술이 또 놀랍다. 

도전 정신으로 훨훨 날으며

댓글 0 | 조회 297 | 15시간전
매년 11월3일은 학생독립운동 기념일로 지키고 있다고 한다. 이 기념일은 일본 강점 때인 1929년 11월 3일에 광주에서 일본 남학생이 한국 여학생을 놀려 한국… 더보기

칠칠 특별이민법 핵심만 착착착

댓글 0 | 조회 1,250 | 16시간전
12개월간의 한시적이지만 특별한 권한을 이민부 장관에게 주어 코로나19로 인하여 곤란하게 된 수많은 비영주권 비자 소지자/신청자 및 영주권 신청자/승인자에게 신속… 더보기

사람은 사람으로..

댓글 0 | 조회 283 | 16시간전
몇 년 전의 일입니다. 당시엔 나름 큰 충격을 받아서 여기저기에 소문까지 내 가며 우리 아이들을 어떤 방향으로 지도해나가야 할까 모색하느라 고민했었는데요. 사람이… 더보기

뉴질랜드 거주 동양인들의 66%가 도박자

댓글 0 | 조회 2,030 | 16시간전
아시안 패밀리 서비스는 보건 복지부의 지원을 받아 운영되는 NGO이며 중독과 정신건강의 어려움을 겪고 있는 동양인들을 돕는 기관입니다. 이 번에 코로나 바이러스라… 더보기

외로움

댓글 0 | 조회 332 | 16시간전
갈보리십자가교회 김성국겨울 끝보다 먼저 온 봄볕을혼자만 쬐고 싶어봄이 왔다고아무에게도 알리고 싶지 않은 날이 있었습니다종일 남의 노래만 불러댄빤짝이 옷이어서 더 … 더보기

데이터 댐

댓글 0 | 조회 161 | 16시간전
그랜드 캐년을 보고 남쪽에서 라스베이거스로 오는 길엔 후버 댐을 건넌다. 콜로라도 강을 막은 후버 댐의 콘크리트 둑이 바로 길이다. 엘리베이터를 타고 댐 아래로 … 더보기

강물처럼 흘러가는 것이 사랑이려니

댓글 0 | 조회 135 | 18시간전
친구의 반려견이 죽었다. 먼저 간 수놈을 따라 갈 날이 얼마 남지 않았다는 것을 알고 있었지만, 막상 떠나는 상황이 닥치니 많이 우울해 보였다.16년 동안 함께 … 더보기

댓글 0 | 조회 136 | 18시간전
“술도 못 먹으면서 무슨 재미로 사시오?” 하는 말을 가끔 듣는다. 그렇기도 하다. 술은 입으로 오고 사랑은 눈으로 오나니 그것이 우리가 늙어 죽기 전에 진리로 … 더보기

공의 높이

댓글 0 | 조회 55 | 18시간전
공의 탄도를 결정하는 또 하나의 숫자는 Dynamic Loft 입니다.Dynamic Loft란 공이 맞는 순간의 클럽페이스의 로프트(페이스가 기울어진 정도) 입니… 더보기

제 후원아동이 보스니아 축구 국가 대표가 됐어요!

댓글 0 | 조회 351 | 19시간전
“제 후원아동이 보스니아 축구 국가 대표가 됐어요!”– 월드비전 후원자 ★특급★ 제보"아드난은 언젠가 나의 한글 편지를 보고,‘사랑해’ 라는 그리다시피한한글을 적… 더보기

뉴질랜드에서 태어났습니다

댓글 0 | 조회 943 | 19시간전
2020년을 맞이한 이래 6개월 동안 코로나 바이러스와의 전쟁으로 전 세계가 비상사태에 직면하고 있습니다. 다행히 뉴질랜드는 모범적인 대응을 하여 안정을 찾고 일… 더보기

황진이 선인과 대화를 시작하며 2

댓글 0 | 조회 50 | 19시간전
그러면서도 한편으로는 아무리 그래봐야 기생이지 뭐 그러기도 했었는데, 원래는 선인이었겠지만 선계를 갔을까?혹시 낙제하지 않았을까? 하는 생각도 했었는데 공부를 무… 더보기

맥주의 품격

댓글 0 | 조회 161 | 20시간전
슈퍼마켓 완전정복 (3)겨울철에도 맥주의 소비는 꾸준한 편이다. 기존의 소비자들이 맥주의 ‘청량감’을 즐겼다면 현재는 맥주도 와인처럼 향과 풍미를 음미하며 천천히… 더보기

그대 내게 행복을 주는 사람

댓글 0 | 조회 103 | 21시간전
아름다운 글과 시 그리고 소설에서 자주 등장하는 단어 중 하나가 ‘그대’ 이다. 우리말 사전에 ‘그대’ 라는 단어는 그 쓰임이 구어체와 문어체에서 따라 약간의 차… 더보기

세상이 바뀌었다

댓글 0 | 조회 529 | 2일전
코로나 이후 많은 일상은 바뀌었습니다.많은 곳에서 우리는 더 이상 코로나 이전의 일상으로 돌아갈 수 없을 거라고 얘기합니다.다른 분들은 어떤지 모르지만, 저는 그… 더보기

남성 갱년기를 아시나요?

댓글 0 | 조회 634 | 2일전
흔히 갱년기라고 하면 여성만의 질병으로 생각하기 쉽지만, 남성들도 40대 중반을 넘어서면 인체의 여러 기능이 쇠퇴하면서 육체적·정신적으로 위축되는데 이런 현상을 … 더보기

저는 헝그리하지 않습니다

댓글 0 | 조회 554 | 2일전
최근 무심코 켜놓은 TV에서 배우 서우림 씨가 인터뷰하는 것을 보게 됐다. 퇴근 후 그저 습관처럼 켜놓고 집중해서 보지도 않는 TV에 왜 그날따라 눈길이 갔는지는… 더보기

방귀쟁이 며느리 4편

댓글 0 | 조회 166 | 2일전
건강을 위한 배출또 당시 사회에서는 내치론內治論을 내세워 국가와 가정의 흥망을 여성의 행실과 선악에 연결시켜 흥망의 모든 책임을 여성에게 지웠다. 그런데 그 선악… 더보기

높아지는 실업률, 뜨거워 지는 부동산

댓글 0 | 조회 1,788 | 2일전
항공사를 비롯한 여행 관련 직업군을 필두로 통신사와 금융업까지 COVID-19 여파가 빠르게 번지고 있다. 이번 두번째 ‘Wage Subsidy’가 끝나는 9월 … 더보기

사랑의 동일성

댓글 0 | 조회 112 | 2일전
시인 이 운룡왼손이 오른손을 잡고 속삭였다. 사랑은 이원적 동일성을 지향한다고. 손과 손, 그 사이 뜨거운 세상이 행복이다. 손은 둘이지만 하나의 사랑을 지향한다… 더보기

타월 하나로 온몸이 개운해지는 스트레칭

댓글 0 | 조회 232 | 2일전
우리 같이 시원하게 기지개 펴볼까요?안녕하세요. 몬트리올 요가강사이자 유튜버(YOGA SONG - HAYEON)의 송하연입니다.바쁜 일상에서 따로 짬을 내서 운동… 더보기

도라지 도라지 백도라지

댓글 0 | 조회 276 | 2일전
‘도라지 도라지 백도라지/ 심심 산천에 백도라지/ 한두 뿌리만 캐어도/ 대바구니 철철철 다 넘친다.’ 구전 동요로 알려지는 도라지 타령의 앞부분 이다. 어릴적 동… 더보기

이제 모든 것을 재설정해야 할 시간입니다

댓글 0 | 조회 911 | 2일전
이 말은 지난 5월 20일에 있었던 TANI (아시안 보건 네트워크)의 광역 오클랜드 네트워크 미팅에서 Jenny Tanner가 한 말입니다. 그리고 “과거를 지… 더보기

변종(變種) 코로나 바이러스 확산

댓글 0 | 조회 901 | 5일전
전 세계 신종 코로나바이러스 감염증(COVID-19) 환자가 1000만명이 넘었고, 사망자는 50만명을 초과했다. 이는 세계적으로 대유행하고 있는 코로나 팬데믹(… 더보기

이제는 뉴노멀이 노멀이다!

댓글 0 | 조회 1,056 | 7일전
뉴 노멀(New Normal)은 원래 경제 용어로 2007–08년 세계 금융 위기와 2008년부터 2012년까지 이어진 경제 침체 기간 동안 만들어진 새로운 경제… 더보기