#0004 - 2016년 책 50권 읽기 서른세 번째 책입니다.
학교에 있을 때(강의 때 학생들에게 큰 줄기에 대해서 설명을 위해서) 이 책을 구입한 것 같습니다. 구입한 목적은 '시대의 흐름에 뒤쳐지지는 말아야겠다. 트렌드를 읽을 수 있어야 하지 않겠나?'였습니다. 그런데 2년이 지나고 나서야 이 책을 완독 하게 되었습니다. 빅데이터 개념과 그림은 대충 알겠는데 아직 누군가에게 설명을 하라고 하면 글쎄요 아마도 좀 어려울 것 같습니다. 그나마 산업공학을 전공하고, 대학원 과정에서 데이터 마이닝과 PDM 같은 강의를 경험했기에 조금은 이해하기 쉬웠던 부분도 그럼에도 불구하고 아직도 이해하기 어려운 부분도 많았습니다. 제 수준에서는 Intro 부분이 젤 쏙쏙 들어오는 것 같네요.
그럼 잠깐 빅데이터가 무엇인지 짤막한 영상을 통해서 살펴볼까요?
이 책을 읽고도 아직 개념 정립이 되지 않았기에 빅데이터 하면 생각나는 키워드들을 나열해 봅니다
NoSQL, 대량, 비정형, 비구조적, 3V, 규모(Volume), 다양성(Variety), 속도(Velocity), 하둡, 세렌디피티(Serendipity), 데이터 과학 등입니다. 별로 없네요.
그래도 다른 아무것도 의지하지 않고
지금 내 머릿속에서 정리되는 개념을 잠깐 정리하자면...
빅데이터 어느 날 아침에 갑자기 떠 오른 그런 기술은 아니다.
예전부터 있었지만 활용할 수 있는 인프라(Infrastructure)가 갖추어진 것이 최근이기에 대두되었다.
NoSQL, 하둡, 인공지능, IoT, GPS, SNS, 클라우드, CPU(프로세서)의 발달 등이 빅데이터를 활용할 수 있는 길을 열어주었다.
오늘날 데이터는 넘쳐나지만 나에게 쓸만한 정보를 찾는 일은 점점 더 어려워지고 있다.
때문에 빅데이터의 필요성은 더욱더 커질 것이다.
우리는 정형화된 데이터(관계형 데이터)에 익숙해져 있고, 이를 활용하는 방법은 잘 알고 있지만
비 정형화된 데이터를 활용할 수 있는 능력은 부족하다.
인간의 눈으로는 아무런 관계를 찾아볼 수 없는 것에서 컴퓨터(인공지능)는 인간이 알지 못하는 관계를 찾아낸다.
이것은 마치 알파고가 둔 어리석은 한 수(결과를 알기 전에는 사람들이 그렇게 생각했다)가 나중에 결과를 보고 나니 신의 한 수가 되었던 것과 같은 것이다.
때문에 예전에는 아무것도 아닌 데이터에서 새로운 가치를 발견하게 될 것이다.
이는 마치 과거에는 들판에 널린 식물 중에서 찧기 쉬운 몇몇 곡식만 골라 먹었다면, 이제는 가공기술이 발달해 그간 못 먹고 버려왔던 열매와 식물, 약초까지 두루 골라 먹을 수 있는 것과 같은 것으로 생각할 수 있다.
앞으로는 모든 산업에서 데이터가 승자와 패자를 가르게 될 것이다.
빅데이터에서 분석은 소프트웨어(또는 알고르즘, 인공지능)가 해석하겠지만, 의미를 찾는 것은 사람이 해야 하는 경우가 많을 것이다.
때문에, 향후 데이터 과학자라는 직업이 떠 오르게 될 것이다.
데이터 과학은 어떠한 기술들이 필요로 할까? 특정한 한 분야가 아닌 다양성이 요구되는 학문이다.
빅데이터 분명 앞으로 우리의 삶에 많은 변화를 가져다줄 것이다.
인류의 삶이 지금 보다 훨씬 더 윤택하게 되는데 도움이 될 것이다.
그러나, 데이터가 내가 알지 못하는 사이에 수집이 되어진다.
나의 스마트폰, 스마트 시계, 스마트 핏(Fit)등을 통해서 많은 개인정보(위치, 생활패턴, 건강정보, 구매행위 등)가 노출될 것이다.
잊혀질 권리(Right to be forgotten)가 자주 언급될 것이다.
빅데이터가 우리 생활과 산업에 큰 줄기로 자리 매김할까?
2011년도 세간의 이목을 끌고 이후 지금까지 행적을 보면 오히려 그때보다 덜하다는 느낌이 든다.
그럼에도 불구하고 우리는 빅데이터에 대해서 알아야 하고, 이를 활용할 수 있어야 한다. 왜냐 과거의 모든 테크놀로지가 그러했듯이 빅데이터라는 테크놀로지 또한 그렇게 흘러갈 것이기 때문이다.
1990년 초반 인터넷이 보급화 90년대 후반 가능성이 보이면서 2000년대 초반 인터넷 기반의 벤처 열풍이후 인터넷에 대한 거품이 빠질 것이라 예상했지만 오히려 조용히 우리들 사이에 스며들어 왔다. 이 빅데이터도 똑 같은 과정을 거치게 될 것이다.