Chapter 1. 빅데이터 분석 기획(데이터, 데이터베이스, 데이터 웨어하우스)

Chapter 1. 빅데이터 분석 기획(데이터, 데이터베이스, 데이터 웨어하우스)

1. 빅데이터의 이해

• 데이터란?

  • ‘주어진 것’이란 의미를 갖는 라틴어 dare로 처음 등장
  • 추론과 추정의 근거를 이루는 사실
  • 현실 세계에서 관찰하거나 측정하여 수집한 사실

• 데이터의 특징

  • 단순한 객체로서의 가치 O
  • 다른 객체와의 상호관계속에서 더 큰 가치

• 데이터의 구분

  • 정량적 데이터(숫자로 이루어진 데이터)

  • 정성적 데이터(텍스트로 구성되어 함축적 의미 지닌 데이터)

    	정량적 데이터	정성적 데이터
    유형	정형 데이터, 반정형 데이터	비정형 데이터
    특징	여러 요소의 결합으로 의미 부여	객체 하나에 함축된 의미 내포
    관점	주로 객관적 내용	주로 주관적 내용
    구성	수치, 기호 등	문자, 언어 등
    분석	통계 분석 시 용이	통계 분석 시 어려움

• 데이터의 유형

  • 정형 데이터

    정해진 형식과 구조에 맞게 저장되도록 구성된 데이터, 연산이 가능

  • 반정형 데이터

    비교적 형식과 구조가 유연하고, 정보와 데이터를 함께 제공하는 파일형태(JSON, XML 등)

  • 비정형 데이터

    구조가 정해지지 않은 데이터

• 데이터, 정보, 지식, 지혜

  • 데이터 : 가장 기본이되는 현실 세계에서 관찰하거나 측정한 사실
  • 정보 : 데이터를 가공하거나 처리하여 데이터간 관계를 분석하고 도출된 의미
  • 지식 : 상호 연결된 정보를 구조화하여 내재화한 결과물
  • 지혜 : 축적된 지식을 통해 근본적인 원리를 이해하고 아이디어를 결합한 창의적 산물

• 데이터베이스

  • 체계적이거나 조직적으로 정리되고 개별적으로 접근 가능한 독립된 저작물, 데이터
  • 복수 이용자의 요구에 대응하여 데이터를 받아들이고 저장, 공급하기 위해 일정한 구조에 따라서 편성된 데이터의 집합
  • 문자, 기호 등 상호 관련된 다수의 콘텐츠를 다양한 용도오 방법으로 이용할 수 있도록 정리한 정보의 집합체

• DBMS(DB 관리 시스템)

  • 관계형 DBMS
  • 객체지향 DBMS
  • 네트워크 DBMS
  • 계층형 DBMS

• 데이터베이스의 특징

  • 통합된 데이터

    동일한 데이터가 중복되어 저장되지 않음을 의미

  • 저장된 데이터

    컴퓨터가 접근할 수 있는 저장매체에 데이터를 저장

  • 공용 데이터

    여러 사용자가 서로 다른 목적으로 데이터를 함께 이용

  • 변화되는 데이터

    데이터는 현시점의 상태를 나타내며 지속적으로 갱신

• 데이터베이스 활용

  • OLTP(OnLine Transaction Processing)

    온라인으로 접속도니 단말들의 트랜잭션을 호스트 컴퓨터가 바로 처리하고 관리하는 프로세싱

  • OLAP(OnLine Analytical Processing)

    OLTP에서 처리된 트랜잭션 데이터를 분석해 활용할 수 있는 정보를 얻는 프로세싱

• DW (Data Warehouse)

  • 축적된 데이터를 공통의 형식으로 변환해서 관리하는 데이터베이스

  • 주체지향성

    고객, 제품과 같은 중요한 주제를 중심으로 관련된 데이터들로 구성

  • 통합성

    데이터가 DW에 입력될 때는 일관된 형태로 변환되며, 전사적인 관점에서 통합

  • 시계열성

    DW의 데이터는 일정 기간 동안 시점별로 이어짐

  • 비휘발성

    DW에 일단 데이터가 적재되면 일괄 처리 작업에 의한 갱신 외에는 변경이 수행되지 않음