다가올 시대는 빅데이터의 시대. 빅데이터를 활용하자!! 라는 말을 최근 자주 듣게 되는데요. 탁이도 도대체 그 '빅데이터' 란게 무언지 궁금했습니다.
정확하게 이해하고있는 분들이 많이 계시겠만요. 저처럼 잘 모르는 분들을 위해서 이번 기사에서는 빅데이터라는 말의 의미, 빅 데이터의 활용할 수 있는 케이스 들을 소개합니다.
목차
빅데이터 란?
빅데이터가 가지는 3 개의 특징
빅데이터의 구성 데이터의 종류
빅데이터로 축적되는 데이터의 종류
빅데이터의 활용 방법
빅데이터의 활용 사례
정리
빅데이터 란?
빅 데이터는 인터넷의 보급과 컴퓨터의 처리 속도 향상, 센서 및 스마트 폰, 웨어러블 단말기의 일반화가 생성하는 대량의 데이터를 말합니다.
인터넷의 보급과 처리 능력의 향상, 인터넷에 연결된 기기의 보급에 따라 위치 정보, 행동 기록, 검색 기록 등 많은 정보를 수집 할 수있게되었습니다.
빅 데이터가 가지는 3 개의 특징
빅 데이터는 "3개의 V" 즉 3개의 특징이 있다고 설명되어 있습니다.
1. Volume (볼륨)
2. Velocty (속도)
3. Variety (다양성)
1. Volume (볼륨)
데이터 용량이 큰 특징입니다. 공공 단체 나 기업은 인터넷의 보급과 처리 능력 발전으로 Web 페이지 SNS · 센서 · M2M 통신 등 다양한 매체에서 대량의 데이터를 수집 할 수있게되었습니다.
참고; M2M 통신은 "Machine to Machine 통신"의 약자로, 사람의 중개를 필요로하지 않고 네트워크를 통해 기기끼리 정보 교환 할 수있는 것을 말합니다.
2. Velocty (속도)
속도는 데이터가 생성되는 속도입니다. 데이터를 수집 할 수있는 기회와 매체가 늘어나는 가운데, 데이터가 생성되는 속도도 이전에는 생각할 수 없었던 것이되어 있습니다.
3. Variety (다양성)
데이터를 생성하고 축적 할 수있는 기회와 매체가 증가하고 있기 때문에, 취급하는 데이터의 종류도 증가하고 있습니다.
지금까지는 판매 실적, 재고 관리 등으로 대표되는 수치화 된 (구조화 된) 데이터가 일반적이었습니다.
그 외에도 Twitter 짹짹로 대표되는 텍스트 데이터 센서 나 감시 카메라에서 얻은 위치 정보와 행동 데이터, Web 사이트에서의 클릭 스트림, 음성, 동영상 등의 비 구조 데이터가 많아지고 있습니다.
조사에 따르면 빅 데이터의 80 %가이 비 구조 데이터에 해당하는 것으로 알려져 있습니다.
생성되는 속도가 빨라 대량으로하고 종류가 많다는 특징을 가지는 것이 빅 데이터입니다.
빅 데이터의 구성 데이터의 종류
빅 데이터의 의미, 특징을 설명했지만, 그러한 빅데이터는 어디에서 수집할 수 있는걸까요? 다음에는 빅데이터를 구성하는 데이터의 대표적인 8가지 예를 소개합니다.
1. 웹사이트
EC 사이트 나 블로그 등에서 수집 할 수있는 구매 내역, 관심 상품, 블로그 게시물 등의 정보.
2. 멀티미디어 데이터
웹으로 전달되는 음악 · 동영상 등의 데이터. 사이트 회원의 클릭 스트림, 시청 이력 등 빅데이터의 일부로 축적되어갑니다.
3. 소셜 미디어 데이터
Twitter와 instagram 등의 소셜 미디어 이용자가 작성한 프로필이나 코멘트입니다.
4. 센서 데이터
GPS, IC 카드, RFID (상품 태그를 전파에 의해 비접촉으로 스캔 할 수있는 시스템) 등에 의해 감지된 위치 정보, 승강 기록, 가속 정보 및 온도 등의 데이터.
5. 운영 데이터
판매 관리 시스템 등에 의해 생성되는 데이터. 예로는 POS 데이터와 거래 내역 데이터가 포함됩니다.
6. 고객 데이터
CRM 시스템 (고객 관리 시스템) 에서 관리되는 회원 · 고객 데이터. 구매 내역, DM의 개봉률 클릭률 등이 이에 포함됩니다.
7. 사무실 데이터
사무실의 PC 등에서 생성되는 메일, 문서, 내부 커뮤니케이션 도구 등의 데이터입니다.
8. 로그 데이터
서버에 자동으로 생성되는 액세스 로그 오류 로그 등의 데이터가 포함됩니다.
빅 데이터로 축적되는 데이터의 종류
빅 데이터는 다양한 종류의 매체를 통해 수집됩니다. 그렇게해서 모아진 데이터는 크게 나누면 다음의 4 가지 종류로 나눌 수 있습니다.
1. 국가 또는 지방 공공 단체가 제공하는 오픈 데이터
정부나 지방 자치 단체가 보유한 공공 정보입니다.
2. 노하우를 디지털화 · 구조화 된 데이터
이러한 데이터는 "지식의 디지털화" 라고 불립니다.
다양한 분야, 산업, 주변에 존재하는 지금까지 데이터화되지 않고 일정한 개인 간 또는 기업간에 만 상속되어 온 노하우, 즉 지식을 데이터화 한 것입니다. 예를 들어 농업에서 작물 재배 인프라의 관리 방법 등이 이에 해당합니다.
3. M2M 데이터
Iot 장비 (네트워크에 연결된 기기)에서 수집되는 데이터입니다.
이 데이터는 앞서 소개 한 '지식의 디지털화'와 함께 기업이 정보의 수집 · 이용에 활용하는 경우가 많기 때문에 산업 데이터로 자리 매김하고 있습니다.
4. 개인 데이터
개인의 특성 정보입니다.
회원 가입 행동 기록, 승강 이력 구매 내역 웨어러블기기 (스마트 워치) 에서 수집 된 건강 정보 등이 포함됩니다. 본인을 특정 할 수있는 "개인 정보"이외에 개인과의 관계 성을 찾아 낼 다양한 정보가 개인 데이터입니다.
빅 데이터의 활용 방법
다양한 종류의 매체를 통해 빠른 속도로 다양한 데이터가 많이 축적된 것이 빅데이터이지만, 방대한 데이터를 분석하고 활용해야 의미를 갖게됩니다.
빅 데이터를 분석하는 것으로, 이변의 감지, 미래에 일어날 사건의 예측이 가능 합니다. 그 정보를 업무 개선 · 새로운 산업의 창출 · 이용자 개인의 요구에 맞는 상품과 서비스의 제공 등에 활용할 수 있습니다.
다음은 이러한 빅데이터가 어떤 분야에서 어떻게 활용되는지 소개합니다.
판매업 소매업
판매업 및 소매업에서는 고객의 데이터에서 이용자의 특성을 분류, 행동 이력과 구매 내역을 분석함으로써 각각의 고객에게 최고의 제품과 서비스를 최적의 타이밍에서 추천하고 재구매를 촉진 등 활용 수 있습니다.
EC 사이트에서도 검색 기록이나 구매 기록, DM의 개봉 율과 그 안에 포함되어있는 URL의 클릭 속도 등의 데이터를 분석하고 사이트 이용자의 특성과 이용 시간대에 맞춘 인터넷 광고 및 편지 전달 등의 형태로 활용할 수 있습니다.
우량 고객의 육성 및 잠재 고객에서 고객으로 육성한다는 활용 방법뿐만 아니라 고객의 이반 분석에 활용할 수 있습니다. 탈퇴 또는 해지 한 고객의 특성을 분석하고 어떤 경향을 가진 고객이 배반 할 수 있는지 예측할 수 있습니다.
교통
GPS 및 Iot 장비를 탑재한 차량을 이용한 거리 · 주행 · 시간 · 속도 · 위치 정보 등의 운행 정보를 실시간으로 수집 분석 할 수 있습니다. 그들을 차량 관리 및 안전 운전 지원 시스템의 개발, 연비 개선 등에 활용할 수 있습니다.
농업
비닐 하우스 내에 설치한 M2M 기기로 하우스 내의 온도 · 습도 · 일조 시간 · 이산화탄소 량 등의 작물 육성 환경의 데이터를 수집 할 수 있습니다. 수집 된 데이터는 작물의 품질 관리 및 생산 업무 개선에 활용 할 수 있습니다.
금융
금융 업계에서도 빅 데이터와 AI에 의한 분석이 진행되고 있습니다.
빅 데이터 분석을 통해 고객의 분류 (세그먼트)을 할 수 있으며, 영업 사원이 고객을 더 깊이 알 수 있는 상태를 제공 할 수 있습니다. 이것은 고객 만족도 향상으로 이어집니다. 또한 SNS에서 정보를 포함한 빅 데이터 분석을 통해 금융 시장의 향후 움직임을 예측 하는 일도 행해지고 있습니다.
보안
빅 데이터를 분석하고 수상한 사람이 가진 특징적인 행동을 뽑아낼 수 있습니다. 가게에 수상한 사람이 있으면 방범 카메라가 사람의 얼굴을 확인하고 자동으로 데이터베이스에 등록하여 수상한 사람을 검색하는 서비스도 있습니다.
직원에 의한 부정 예방
기업에게 직원의 사기 방지는 과제 중 하나입니다.
직원의 이메일과 전화, 내부 커뮤니케이션 등의 비 구조 데이터를 자동 언어 처리와 기계 학습으로 분석하고 불법적인 거래 및 뇌물 수수 등 부정 징후가되는 것을 감지 하는 노력도 이루어지고 있습니다.
또한 직원에 대한 그러한 데이터를 이직 할 것 같은 직원의 징후를 알기 위하여 이용 이직률 저하 로 활용하는 방법도 있습니다.
빅 데이터 활용 사례
빅 데이터가 어떤 분야에서 어떻게 활용되고 있는지 설명해 봤는데요. 실제로 기업들은 빅 데이터를 어떻게 활용하고 있는지 세 가지 사례를 소개합니다.
Netflix
Netflix는 응용 프로그램을 통해 전세계에서 엄청난 사용자 데이터를 모으고 있습니다.
어디서, 어떤 장치에서 어떤 작품을 몇시에 몇 시간 정도보고 있는지, 어떤 장면이나 등장 인물을 빨리 감기하고 있는지, 어떤 배우가 인기가 있는지 등의 사용자 섬세한 시청 패턴을 파악 하고 있습니다.
이에 따라 Netflix는 프로듀서의 의견이나 과거의 상식에 얽매이지 않고, 빅 데이터 분석에서 도출 한 대답에 따라 자사 작품의 감독과 배우를 선택하도록했습니다.
또한 사용자의 시청 행동을 세밀하게 추적하고 수집 한 사용자 데이터를 여러 알고리즘에 의해 처리하고 각 사용자에 적응 한 작품과 장르, 그 순서까지 결정하여 응용 프로그램의 첫 페이지에 표시 있습니다.
또한 작품의 아트 워크 이미지 (이미지 사진)도 각 사용자의 특성에 맞게 사용자 정의합니다. Netflix는 사용자 데이터를 가능한 한 많이 모아 그것을 마켓팅에 활용하고있는 가장 알기 쉬운 사례입니다.
정리
빅 데이터는 인터넷, 스마트 폰, SNS, Iot 기기 등 다양한 매체를 통해 신속하게 생성되는 다양한 데이터입니다. 빅 데이터 분석은 이변의 감지 미래 예측, 개인의 요구를 분석하고 그것에 적응 한 서비스와 제품을 제공 할 수 있습니다.
국가 나 기업에 의해 수집 된 빅 데이터는 앞으로 어떻게 활용 될 수 있을지 주목있을 것입니다. 텔레매틱스 보험 및 Netflix와 같은 빅 데이터의 수집과 분석에 기초한 새로운 상품과 서비스를 제공 될지도 모릅니다.