Chapter 1. 빅데이터 분석 기획(빅데이터, 빅데이터 플랫폼)

Chapter 1. 빅데이터 분석 기획(빅데이터, 빅데이터 플랫폼)

1. 빅데이터의 이해

• 빅데이터란?

  • 기존의 방법이나 도구로 수집, 저장, 분석 등이 어려운 정형 및 비정형 데이터들
  • 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하는 차세대 기술 및 아키텍처

• 빅데이터의 특징(3V)

  • Volume(규모)

    데이터의 양이 급격하게 증가

  • Variety(유형)

    데이터의 종류와 근원 확대

  • Velocity(속도)

    데이터 수집과 처리 속도의 변화

• 빅데이터의 활용

  • 빅데이터 활용을 위한 3요소
    • 자원(빅데이터)
    • 기술(빅데이터플랫폼, AI)
    • 인력(관련 기술자)
  • 빅데이터 활용을 위한 기술
    • 유형분석
    • 기계학습
    • 연관규칙학습

• 빅데이터의 기능과 효과

  • 이를 활용하는 기존 사업자에게 경쟁 우위 제공
  • 알고리즘 기반으로 하여 의사결정을 지원하거나 이를 대신함
  • 투명성을 높여 R&D 및 관리 효율성 제고

• 빅데이터 조직 및 인력

  • 조직의 역할
    • 전사 및 부서의 분석 업무를 발굴
    • 전문적인 기법과 도구를 활용하여 빅데이터 속에서 인사이트를 발굴
  • 데이터 사이언스 역량
    • 스토리텔링 능력
    • 커뮤니케이션 능력
    • 창의성과 직관성
    • 비판적 시각과 열정

2. 빅데이터 기술 및 제도

• 빅데이터 플랫폼

  • 빅데이터 수집부터 저장, 처리, 분석 등 전 과정을 통합적으로 제공

• 빅데이터 플랫폼의 기능

  • 컴퓨팅 부하 제어

    빅데이터를 처리하고자 할 때 연산과정에서 CPU, GPU, 메모리등을 사용하여 부하가 발생하는데 빅데이터 플랫폼을 통한 CPU 성능 향상 및 클러서터에서의 효과적인 자원 할등을 통해 부하를 제어

  • 저장 부하 제어

    빅데이터 처리 과정의 입력 데이터, 중간 가공 데이터, 출력 데이터 등 여러 단계에서 부하가 발생하는데 빅데이터 플랫폼을 통해 파일 시스템 개선, 메모리와 파일 시스템의 효과적인 사용 및 데이터베이스 성능 향상으로 제어

  • 네트워크 부하 제어

    빅데이터 처리 과정에서 분산처리를 하고자 할 때 노드간의 통신 과정에서 부하가 발생하는데 빅데이터 플랫폼을 통해 대역폭의 효과적 분배 및 네트워크상에서 최단거리에 위치한 노드를 탐색해서 제어

• 빅데이터 플랫폼의 구조

  • 소프트웨어 계층

    빅데이터 어플리케이션을 구성하며 데이터 처리 및 분석과 이를 위한 데이터 수집, 정제

  • 플랫폼 계층

    빅데이터 어플리케이션을 실행하기 위한 플랫폼을 제공하며, 작업 스케줄링이나 데이터 및 자원 할당 관리, 프로파일링 등을 수행

  • 인프라스트럭처 계층

    자원 배치와 스토리지 관리, 노드 및 네트워크 관리 등을 통해 빅데이터 처리와 분석에 필요한 자원을 제공