데이터과학 VS 빅데이터 VS 데이터분석

/, 소셜분석/데이터과학 VS 빅데이터 VS 데이터분석

데이터과학 VS 빅데이터 VS 데이터분석

Avantika Monnappa / 박유나 편역
원본글: https://www.optimizesmart.com/understanding-universal-analytics-measurement-protocol/

데이터는 어디에나 존재합니다. 실제로 현존하는 디지털 데이터의 양은 급속도로 증가하고 있으며 2025년에는 180제타바이트까지 증가한다고 예상하고 있습니다.
그러나 이 많은 데이터들은 최근에서야 인사이트를 찾기 위한 분석에 활용되고 있습니다. 이것이 바로 더욱 더 많은 기업들이 데이터를 의미 있게 만들 수 있는 기관과 전문가를 찾는 이유입니다.
데이터 과학자가 되는 것은 어렵지 않습니다. 데이터 분석의 기술을 습득한 후 능숙한 전문가가되기 위해 새로운 기술들을 충분히 연습하면 됩니다.
이 글에서 우리는 데이터 과학, 빅데이터, 데이터 분석들이 무엇이며 어디에 활용되는지, 이 분야에서 전문가가 되기 위해 필요한 기술들은 과연 어떤 것이 있는지 알아볼 것입니다.

먼저 이 세가지의 개념을 이해해야 합니다.

 

1. 데이터 과학

데이터과학 요약 설명

데이터 과학이란 무엇일까요? 데이터 과학자가 하는 일은 어떤 것이 있을까요? 데이터 과학자들은 통계학, 수학, 프로그래밍, 문제해결능력, 데이터를 기발한 방법으로 캐치하는 능력, 패턴을 찾기 위해 문제를 색다르게 바라보는 능력들을 갖추어야 합니다. 또한 데이터를 정제하고 준비하고 조정하는 활동들을 해야 합니다.

정형, 혹은 비정형 데이터들을 다루는 데이터 과학은, 데이터를 정제하고, 준비하고, 분석하는 것과 관련된 모든 것을 포함하는 분야입니다. 간단히 말해서 데이터 과학이란, 데이터로부터 정보와 인사이트를 추출하려고 할 때 사용되는 기술들의 포괄적 용어입니다.

 

2. 빅데이터

빅데이터 요약 설명

빅데이터는 기존의 응용 프로그램으로는 효과적으로 처리할 수 없는 엄청난 양의 데이터를 말합니다. 빅데이터의 처리는 집계되거나 조직되지 않은 로데이터로 시작되며, 단일 컴퓨터의 메모리에 저장하는 것은 거의 불가능합니다.

또한 빅데이터는 정형 혹은 비정형의 방대한 양의 데이터를 설명하는데 사용되는 전문 용어이기도 합니다. 빅데이터는 매일 크고 작은 조직들을 데이터의 홍수에 빠트리지만 잘 활용한다면, 보다 나은 결정과 기업의 전략적 행동을 이끌어내는 인사이트를 분석하는데 사용될 수 있습니다.

Gartner사는 빅데이터에 대해 이렇게 정의 내렸습니다. “빅데이터란 인사이트와 의사결정, 자동화 과정을 강화할 수 있는 정보처리과정의 혁신적인 형태이며, 높은 비용 효율을 요구하고 방대하며, 빠르고 다양한 형태의 정보 자산(assets)이다.” 즉 빅데이터 분석가는 기업의 의사결정을 도와주는 혁신적인 인사이트를 발견합니다.

 

3. 데이터 분석

데이터분석 요약 설명

데이터 분석은 인사이트를 도출하기 위해서 알고리즘과 수학적 처리과정을 적용하여 해당 정보에 대한 결론을 도출하고 패턴을 찾기 위한 목적으로 로데이터를 다루는 과학입니다.
데이터 분석가의 작업은 이미 연구자가 알고 있는 결론에서부터 또 다른 결론을 도출하는 과정인 추론에 있습니다. 예를 들어 서로간에 의미 있는 상관 관계를 찾기 위해 여러 데이터 셋을 실행합니다. 데이터 분석은 조직이 기존 이론이나 모델을 검증하고 반증할 뿐만 아니라 더 나은 의사 결정을 내릴 수 있도록 여러 산업 분야에서 사용되고 있습니다.

데이터과학-빅데이터-데이터분석-요약설명

 

데이터 과학의 활용

  • 인터넷 서치(Internet Search) : 검색 엔진은 데이터 과학 알고리즘을 사용하여 몇 초 만에 최상의 검색 결과를 제공합니다.

  • 디지털 광고 : 디스플레이 배너부터 디지털 광고판까지의 모든 디지털 마케팅 스펙트럼은 데이터 과학 알고리즘을 사용합니다. 이것이 디지털 광고가 전통적인 광고보다 클릭률(CTR : Click Through Ratio)이 높아지고 있는 이유입니다.

  • 추천 마법사(Recommender systems) : 추천 마법사는 수십억 개의 제품에서 관련 상품을 쉽게 찾게 해줄 뿐만 아니라 소비자 경험을 더욱 풍부하게 해줍니다. 많은 기업이 소비자의 니즈와 정보를 기반으로 제품과 서비스를 홍보하기 위해서 이 시스템을 사용합니다. 이러한 추천 메커니즘은 소비자의 이전 검색 기록과 검색 결과를 활용합니다.

 

빅데이터의 활용

  • 금융 서비스를 위한 빅데이터 : 신용카드회사, 소매 은행, 개인 자산 관리 자문, 보험회사, 벤처 펀드 및 기관 투자 은행들은 금융 서비스에 빅데이터를 사용합니다. 그들 사이의 공통적인 문제는 여러 이질적인 시스템에 존재하는 다차원 데이터의 양이 엄청나다는 것인데 이는 모두 빅데이터로 해결할 수 있습니다. 따라서 빅데이터는 다음과 같은 여러 가지 방식으로 사용됩니다.

    – 고객 분석
    – 규정 준수 분석(Compliance analytics)
    – 사기 분석(Fraud analytics)
    – 운영 분석

  • 통신 속 빅데이터 : 신규 가입자 확보, 고객 유치 및 현재 가입자 기반 확대는 통신 서비스 제공 업체에게 최우선 순위입니다. 이러한 과제의 해결책은 매일 생성되는 고객 생성 데이터 및 기계 생성 데이터의 대량을 결합하고 분석하는 능력에 있습니다.

  • 소매업을 위한 빅데이터 : 재래식 소매 거래든 온라인 거래든 매출을 유지하고 경쟁력 확보를 위한 해답은 더 나은 서비스가 가능하도록 소비자를 이해하는 것입니다. 이를 위해서는 웹 로그, 고객 거래 데이터, 소셜 미디어, 매장 브랜드의 신용 카드 데이터 및 로열티 프로그램 데이터를 포함하여 회사가 매일 처리하는 각종의 이질적인 데이터 소스를 분석 할 수 있어야 합니다.

 

데이터 분석의 활용

  • 헬스케어 : 비용의 압박을 받는 의료 산업의 주요 과제는 치료의 질 향상에 유의는 동시에 효율적으로 환자를 치료하는 것입니다. 장비 및 기계 데이터는 병원에서 사용되는 환자 흐름, 치료 및 장비를 추적하고 최적화하는 데 점점 더 많이 사용되고 있습니다. 이를 통해 1%의 효율 증가가 있을 것으로 추정되며 이는 630억 달러 이상으로 추정됩니다.

  • 여행 : 데이터 분석은 모바일/웹 로그 및 소셜 미디어 데이터 분석을 통해 소비자의 구매 경험을 최적화 할 수 있으며 고객의 니즈와 선호도 대한 데이터를 분석하여, 각광받는 여행지에 대한 통찰력도 얻을 수 있습니다. 또한 현재의 판매를 후속의 브라우징으로 연결시킴으로써 더 많은 상품을 판매할 수 있습니다. 여기서 후속 브라우징은 사용자 맞춤 패키지와 제공을 통해 검색에서 구매로의 전환을 증가시키는 과정을 뜻합니다. 소셜 미디어 데이터를 기반으로 한 데이터 분석에 의해 소비자 맞춤 여행 추천 서비스도 제공할 수 있습니다.

  • 게임 : 데이터 분석을 통해 사용자의 데이터(사용자가 싫어하는 것, 좋아하는 것, 사용자 간 관계)를 수집할 수 있으며, 이는 사용자가 게임에 많은 돈을 쓰도록 도와줍니다.

  • 에너지 관리 : 대부분의 회사는 유틸리티 회사의 스마트 그리드 관리, 에너지 최적화, 에너지 분배 및 빌딩 자동화를 포함하여 에너지 관리를 위해 데이터 분석을 사용하고 있습니다. 여기에서 응용 프로그램은 네트워크 장치의 제어 및 모니터링, 승무원 파견 및 서비스 중단 관리에 중점을 둡니다. 유틸리티는 수백만 개의 데이터 포인트를 네트워크 성능(network performance)에 통합 하게 하며, 엔지니어가 네트워크 모니터링을 위한 분석을 사용하게 해줍니다.

 

데이터 과학자가 되기 위한 기술들

데이터 과학자들은 보통 88%가 석사학위를 보유하고 있으며, 46%는 박사학위를 보유하고 있습니다. 아래는 데이터 과학자들이 필요한 기술 및 지식들입니다.

  • SAS, R에 대한 깊이 있는 지식(데이터 과학자들은 보편적으로 R을 선호함)

  • 파이선 코딩(Python cording) : 파이선은 자바, C언어, Perl과 함께 데이터 과학자들에게 가장 대중적으로 쓰이는 코딩 언어

  • 하둡 플랫폼(Hadoop platform) : 필수 요소는 아니지만, 하둡에 대한 지식은 이 분야에서 여전히 선호되고 있으며 Hive나 Pig의 경험은 큰 플러스 요인

  • SQL 데이터베이스/코딩 : 데이터 과학자들에게 NoSQL과 하둡은 주된 초점이지만, 선호되는 숙련자들은 SQL의 정교하고 복잡한 쿼리를 쓸 수 있음

  • 비정형 데이터 다루기 : 데이터 과학자들에게 비정형 데이터(소셜 미디어, 영상, 음성 등)를 다룰 수 있는 능력 매우 중요

 

빅데이터 전문가가 되기 위한 기술들

  • 분석 능력 : 당신이 얻을 수 있는 막대한 양의 데이터들을 적절하게 감지할 수 있는 능력. 분석적인 문제해결 능력으로, 당신은 어던 데이터가 당신의 해결법과 가장 밀접 한지 결정할 수 있습니다.

  • 창의성 : 당신은 데이터를 조합하고 해석하며 분석하는 새로운 데이터 전략을 창조해낼 능력이 필요합니다.

  • 수학과 통계적 기술 : 수치 처리(number crunching)는 언제나 그랬든 항상 중요합니다.

  • 컴퓨터 과학 : 컴퓨터는 모든 데이터 전략의 이면에 있습니다. 프로그래머는 데이터를 통찰력으로 처리하는 알고리즘을 고안해야 할 필요가 있습니다.

  • 비즈니스 스킬 : 빅데이터 전문가는 비즈니스 성장 뿐만 아니라 이익을 창출하는 기본 프로세스와 함께 비즈니스의 목표를 이해할 수 있어야 합니다.

 

데이터 분석가가 되기 위한 기술들

  • 프로그래밍 기술 : R과 파이선 등 프로그래밍 언어를 아는 것은 데이터 분석가에게 매우 중요합니다.

  • 통계적 기술과 수학 : 추론적 통계 및 실험 설계 또한 데이터 분석가에게 필수입니다.

  • 머신러닝기술

  • 데이터 wrangling 기술 : 로데이터를 매핑하고 데이터를 보다 편리하게 사용할 수 있는 다른 형식으로 변환하는 기능입니다.

  • 의사소통방법과 데이터 시각화 기술

 

 이렇게 빅데이터와 데이터 과학, 데이터 분석을 알아 보았습니다. 그러나 현재 가장 뜨거운 감자인 빅데이터는 모든 것의 만병통치약은 아닙니다. 빅데이터는 빅데이터일 뿐 중요한 것은 그 데이터를 어떻게 창의적으로 바라볼 것이며, 결국 사업에 어떻게 적용하여 이익을 창출할지 방향을 정하는 것입니다. 이는 위의 언급된 전문적인 기술 만으로 해결되지 않습니다. 중요한 것은 분석가(혹은 분석기업)의 역량이며 그 역량은 바로 경험에서 나옵니다.

By | 2018-05-10T11:48:15+00:00 4월 24th, 2018|Categories: 빅데이터, 소셜분석|0 Comments

About the Author:

BigData Intelligence Team ㅣ ynpark@goldenplanet.co.kr

Leave A Comment

Big Data Social Analytics Service

소셜 빅데이터 분석 솔루션인 스마트크런처(Smart Cruncher)는 사용자 반응 지표 데이터를 수집 및 분석하여 효과적인 디지털 마케팅 실행을 위한 시장ᆞ고객분석, 홍보·마케팅 전략수립, 신사업ᆞ신상품 개발 전략 수립, VOCᆞ위기 모니터링 등의 서비스를 제공합니다.

Google Analytics Service

국내의 대기업 및 관공서는 물론 태국, 인도네시아등 해외 구축사례의 경험은골든프래닛의 노하우를 느끼실 수 있습니다. 아래의 구글 애널리틱스 기능을 통해 고객사의 요구사항에 맞는 컨설팅 업무를 진행 합니다.

Marketing Automation

골든플래닛의 디지털 마케팅이란 고객의 니즈가 발생한 시점을 정확히 알고, 고객의 니즈를 정확히 파악하여 고객이 필요로 하는 상품을 전달하는 과정이라고 할 수 있으며, 소비자들과의 커뮤니케이션을 통해 ‘고객 경로 맵(Customer Journey Map)’을 파악하는 것이 중요합니다.