[ADsP] (1과목) 데이터 이해 - 전략 인사이트와 데이터사이언스 요약

 

<빅데이터분석과 전략인사이트>

1. 빅데이터 열풍과 전략적 인사이트

ㅇ 빅데이터 분석은 데이터에서 가치, 즉 통찰을 끌어내는 것이 성과 창출 관건
  - 데이터 최적화 능력이 최고의 가치를 창출하는 것은 아니고 가치에 적합한 분석이 중요
ㅇ 일차적 분석을 통해 해당부서, 업무영역 효과를 얻을 수 있지만 일차적인 분석은 태생적으로 업계 내부의 문제에만 초점을 두고 있음. 전략적 인사이트, 가치 기반을 위해 인구/경제/고객니즈 변화를 고려해야 함. 즉, 업계 상황에 한정해서 바라보지 말고 더 넓은 시야에서 차별화를 고려해야 함
ㅇ 데이터분석은 대상을 모델범위 외 요인들을 판단하게 되면 분석 모델의 정확성에 위험 동반

2. 데이터사이언스/데이터마이닝/통계학

ㅇ 데이터사이언스 : 데이터로부터 의미있는 정보를 추출
ㅇ 통계학이 정형화된 실험 데이터를 분석대상으로 하는 것에 비해, 데이터사이언스는 정형/비정형을 막론하고 다양한 유형의 데이터를 대상으로 총체적 접근법을 사용
ㅇ 데이터마이닝은 주로 분석에 초점을 두나, 데이터사이언스는 분석뿐 아니라 이를 효과적으로 구현하고 전달하는 과정까지 모두 포괄
ㅇ 데이터사이언스란 데이터 공학, 수학, 통계학, 컴퓨터공학, 시각화, 해커의 사고방식, 해당 분야의 전문지식을 종합한 학문

3. 데이터사이언스 핵심 구성요소

ㅇ 수학/통계학 분석적 지식 : 수학, 확률모델, 머신러닝, 분석학, 패턴 인식과 학습 등
ㅇ IT지식 : 프로그래밍, 데이터 엔지니어링 등
ㅇ 비즈니스지식 : 커뮤니케이션, 프레젠테이션, 스토리텔링, 시각화 등

320x100

<데이터분석 역량>

1. 데이터사이언티스트 요구역량

ㅇ 하드스킬(이과적) : 빅데이터에 대한 이론적 지식(관련 기법에 대한 이해와 방법론 습득), 분석 기술에 대한 숙련(최적의 분석 설계 및 노하우 축적)
ㅇ 소프트스킬(문과적) : 통찰력 있는 분석(창의적 사고, 호기심, 논리적 비판), 설득력 있는 전달 (스토리텔링, 시각화) 다분야간 협력(커뮤니케이션)

2. 전략적 인사이트 도출을 위한 인문학

ㅇ 단순 세계화에서 복잡한 세계로의 변화
ㅇ 비즈니스 중심이 제품 생산에서 서비스로 이동
ㅇ 경제와 산업의 논리가 생산에서 시장 창조로 변화

3. 데이터사이언티스트 6가지 핵심 질문

ㅇ 과거 : 무슨 일이 일어났는가? (ex. 리포트 보고서), 어떻게/왜 일어났는가? (ex. 모델링, 실험설계)
ㅇ 현재 : 무슨 일이 일어나고 있는가? (ex. 경고), 차선 행동은 무엇인가? (ex. 권고)
ㅇ 미래 : 무슨 일이 일어날 것인가? (ex. 추출), 최악/최선의 상황은? (ex. 예측, 최적화, 시뮬레이션)

4. 가치 패러다임의 변화(순서)

ㅇ 디지털화 : ‘아날로그 세상을 어떻게 효과적으로 디지털화하는가’ 가 이 시대의 가치 창출 원천
ㅇ 연결 : 디지털화된 정보와 대상들은 서로 연결되어 얼마나 효과적이고 효율적으로 제공해주느냐
ㅇ 에이전시 : 사물인터넷(IoT)의 성숙과 함께 연결이 증가하고 연결을 얼마나 효과적이고 믿을만하게 관리하는가 이슈. 데이터사이언티스트 역량에 따라 좌우

5. 기타 개념 정리

ㅇ 데이터레이크
  - 대규모의 다양한 원시 데이터셋을 기본형식으로 저장하는 데이터 리포지토리 유형
  - 데이터레이크에 있는 데이터는 분석을 위해 필요할 때 변화되며 이러한 경우 스키마가 적용되어 데이터분석 가능. 이는 “읽기 스키마”라고 불리는데 데이터가 사용 준비 상태가 될 때까지 원시 상태로 보관되기 때문
  - DW로 넘어가기 전 구조화되지 않은 데이터
ㅇ 서비타이제이션(Servitization)
  - 제품과 서비스의 결합, 서비스의 상품과 그리고 기존 서비스와 신규 서비스의 결합 현상을 포괄
ㅇ 딥러닝
  - 여러 층을 가진 인공신경망을 사용하고 머신러닝 학습을 수행하는 심층학습기법으로 대표적 분석 방법으로 LSTM, Autoencoder, RNN 등이 있다.
ㅇ 마이데이터
  - 개인이 각종 기업, 기관에 흩어져 있는 자신의 신용정보를 마이데이터 사업자에게 활용하도록 하고, 이를 업체로부터 자신에게 유용한 맞춤형 서비스를 받는 것을 의미
ㅇ ETL (Extraction, Transformation and Load) : DW, DM에 저장하는 도구
  - ETL은 데이터 이동과 변환 절차와 관련된 업계표준 용어이다.
  - ETL은 DW, 운영데이터 스토어(ODS), 데이터마트에 대한 데이터 적재 작업의 핵심 구성요소
  - 데이터 통합(Integration), 데이터 이동(Migration), 마스터데이터관리(MDM)에 걸쳐 폭넓게 활용
  - ETL은 데이터이동과 변환을 주목적으로 하며, 3가지 기능으로 구성
   · 추출(Extraction) : 하나 또는 그 이상의 데이터 원천들로부터 데이터 획득
   · 변형(Transformation) : 데이터 클렌징, 형식 변환, 표준화, 통함 또는 다수 어플리케이션에 내장된 비즈니스 적용
   · 적재(Loading) : 위 변형 단계 처리가 완료된 데이터를 특정 목표 시스템에 적재

ㅇ 하둡의 구성요소(대용량 데이터를 병렬적으로 처리하기 위한 자바 기반의 오픈소스 프레임워크)
  - 하둡은 하나의 성능 좋은 컴퓨터를 이용하여 데이터를 처리하는 대신 적당한 성능의 범용 컴퓨터 여러 대를 클러스터화하고, 큰 크기의 데이터를 클러스터에서 병렬로 동시에 처리하여 처리 속도를 높이는 것을 목적으로 한다.
  - 하둡의 코어프로젝트가 HDFS와 MapReduce이며, 이 외에도 다양한 서브프로젝트가 존재한다. 이러한 서브 프로젝트들의 모임을 하둡의 에코시스템이라 한다.
    · HDFS(Hadoop Distributed File System) : 네트워크에 연결된 기기에 데이터를 저장하는 분산형 파일 시스템 (블록단위로 데이터를 쪼개서 분산저장)
    · MapReduce : 대용량 데이터 처리를 위한 분산 프로그래밍 모델로 대규모 컴퓨팅 환경에서 대량의 데이터를 병렬로 분석(분산된 데이터를 처리, 각각 저장된 곳에서 데이터를 처리하고 집계해서 분석)

반응형

<데이터 보호 - 개인정보>

1. 데이터3법

: ‘개인정보보호법’, ‘정보통신망 이용촉진 및 정보보호 등에 관한 법률(정보통신망법)’, ‘신용정보의 이용 및 보호에 관한 법률(신용정보법)’ 

2. 개인정보의 수집 및 수집 목적 내 이용이 가능한 경우

ㅇ 정보 주체의 동의를 받는 경우
ㅇ 법률에 특별한 규정이 있거나 법령상 의무를 준수하기 위해 불가피한 경우
ㅇ 공공기관이 법령 등에서 정하는 소관 업무의 수행을 위해 불가피한 경우
ㅇ 정보주체와의 계약체결 및 이행을 위해 불가피하게 필요한 경우
ㅇ 명백히 정보주체 등의 급박한 생명, 신체, 재산의 이익을 위해 필요한 경우
ㅇ 정보주체의 권리보다 우선하는 개인정보처리자의 정당한 이익 달성을 위해 필요한 경우

3. 개인정보 수집, 이용 동의 시 필수 고지사항

ㅇ 개인정보의 수집, 이용목적, 수집하려는 개인정보 항목, 개인정보 보유 및 이용기간, 동의를 거부할 권리가 있다는 사실 및 동의 거부에 따른 불이익이 있는 경우 그 내용

4. 개인정보 비식별화

ㅇ 개인정보 : 살아있는 개인 정보로서 성명, 주민등록번호 등을 통해 개인을 알아볼 수 있는 정보
ㅇ 비식별화 : 정보의 일부 또는 전부를 삭제 또는 대체하거나 다른 정보와 쉽게 결합하지 못하도록 하여 특정 개인을 알아볼 수 없도록 하는 일련의 조치
  - 가명처리 : 식별요소를 다른 값으로 대체
    (ex. 홍길동, 35세, 서울거주, 한국대 재학 > 임꺽정, 30대, 서울거주, 국제대 재학)
  - 총계처리 또는 평균값 대체 : 데이터를 총합으로 표시하여 개별 데이터값이 보이지 않도록 함
    (ex. 임꺽정, 180cm / 홍길동, 170cm > 1-5반 학생키 합 350cm, 평균키 175cm)
  - 데이터 값 삭제 : 개인 식별을 인식할 수 있는 값 삭제
    (ex. 홍길동, 35세, 서울거주, 한국대 졸업 > 35세, 서울거주)
  - 범주화 : 범주 값으로 변환
    (ex. 홍길동, 35세 > 홍씨, 30~40세)
  - 데이터마스킹 : 개인 식별자가 보이지 않도록 처리
    (ex. 홍길동, 35세 > 홍**, 35세)

 

<관련 기출문제>

2023.02.14 - [자격증공부] - [ADsP] (1과목) 데이터 이해 - 전략 인사이트와 데이터사이언스 기출문제

[ADsP] (1과목) 데이터 이해 - 전략 인사이트와 데이터사이언스 기출문제

 

ㅇ ADsP 요약+기출문제 자료 다운로드(바로가기)

ADsP 빅데이터분석준전문가 자격증 대비 요약 및 기출 | 10000원부터 시작 가능한 총 평점 0점의 자