[ADsP] (2과목) 데이터분석 기획 - 데이터분석 기획 Part 2 요약

 

<분석과제 발굴>

1. 분석과제 발굴

ㅇ 문제가 주어진 상태에서 답을 구하는 하향식 접근방식이 전통적으로 수행되었던 분석과제발굴
ㅇ 대규모의 다양한 데이터를 생성하고 빠르게 변하는 기업 환경에서는 문제 자체의 변화가 심해 문제를 사전에 정의하는 것이 어려워지고 있다. 데이터를 활용하여 생각하지 못했던 인사이트를 도출하고, 시행착오를 통해서 개선해 가는 상향식 접근방식이 점차 증가하고 있는 추세이다.

ㅇ 최적의 의사결정은 두 접근방식이 상호보완 관계에 있을 때 가능하다.

2. 디자인씽킹

ㅇ 넓은 의미에서 디자이너 사고 방식을 의미. 간단하게 말하면 디자이너처럼 생각하자. 디자이너는 시작 단계에서 대상을 자세히 관찰하고, 그 상황이나 대상에 공감함으로써 많은 가능성과 아이디어를 생각한다. 그 이후 많은 아이디어를 내고 다시 필터링하고 이 과정을 반복함으로써 최선의 결과를 얻는다. 디자인씽킹은 사용자들에게 공감하는 그것에서 시작해 아이디어를 발산하고 곧 수렴하는 과정을 거쳐 많은 프로토타입과 피드백을 통해 발전하는 과정이다.
ㅇ 디자인씽킹 프로세스 5단계
 1) Empathize : 사용자 인터뷰 등을 통해 고객의 문제에 공감하는 단계
 2) Define : 첫번째 얻는 통찰을 바탕으로 고객의 진짜 문제를 정의 (ex. pain point 발굴)
 3) Ideate : 현실 가능성을 고려하지 않고 자유롭게 고객에게 적합한 해결 방안을 제시 (ex. pain point 개선 중심)
 4) Prototype : 새로운 아이디어를 프로토타입으로 만들어보거나 서비스에 대한 시나리오를 만들어보는 단계
 5) Test : 1차 완성된 프로토타입에 대한 고객의 피드백을 바탕으로 프로토타입을 개선해 보는 단계

반응형

3. 하향식 접근법 (Top Down)

ㅇ 문제가 주어졌을 때 과제가 무엇인지를 찾는 전통적인 Top Down(최적화 -> 해결책) 수행방법으로 해결이 아닌 과제 정의가 목적
ㅇ Problem Discovery (비즈니스 모델 기반 문제 탐색, 외부 사례 기반 문제 탐색) > Problem Definition (데이터분석 문제 변환, 문제 정의) > Solution Search(수행옵션 도출, 해결방안 탐색) > Feasibility Study (타당성 평가, 과제 선정)
ㅇ 한계점 : 문제 구조가 분명하고 문제를 해결하고 해결책 시도에는 적합, 새로운 문제 탐색에 한계
 1) 문제탐색 : 전체적인 관점의 기준 모델을 활용하여 빠짐없이 문제를 도출하고 식별하는 것이 중요, 세부적인 구현 및 솔루션에 초점을 맞추는 것이 아니라 문제를 해결함으로써 발생하는 가치에 중점을 두는 것이 중요하다.
  - 비즈니스 모델 탐색 기법 : 비즈니스 모델 캔버스 9가지를 업무, 제품, 고객, 규제&감사, 지원인프라의 5가지 영역으로 단순화하여 기업 내부 문제를 탐색

  - 분석기회 발굴 범위 확장(혁신의 관점-중장기 관점)
   . 거시적 관점(STEEP) : 사회(Social), 기술(Technology), 경제(Economic), 환경(Environmental), 정치(Political) 영역
   . 경쟁자 확대 : 대체제, 경쟁자, 신규 진입자
   . 시장니즈 탐색 : 고객(구매 동향 등), 채널(자체적으로 운영하는 채널, 기타 고객에 전달되는 경로), 영향자들(주주, 투자자, 협회 및 기타 이해관계자)
   . 역량의 재해석 : 내부역량, 파트너 네트워크
  - 분석 유즈케이스 탐색(외부 참조 모델) : 동종 업계의 유사 분석 시나리오로부터 비즈니스 문제 발굴

 2) 문제정의 : 탐색된 비즈니스 문제들에 대하여 데이터 문제로 변환하여 정의

  - 문제가 해결되었을 때 효용을 얻을 수 있는 최종사용자 관점에서 이루어져야 하며, 가능한 정확하게 분석의 관점으로 문제를 재정의할 필요가 있다.
  ex. (비즈니스문제) 고객 이탈 증대 -> (분석문제) 고객의 이탈에 영향을 미치는 요인을 식별하고 이탈 가능성 예측
 3) 해결방안 탐색 : 동일한 데이터분석 문제라 해도 어떤 데이터 또는 분석 시스템을 사용할 것인지에 따라 소요되는 예산 및 활용 가능한 도구가 다르므로 여러가지 고려 필요

		분석 역량 (Who)
		확보	미확보
분석 기법 및 시스템 (How)	기존	기존 시스템 개선 활용	교육 및 채용을 통한 역량 확보
	신규	시스템 고도화	전문업체 Sourcing

 4) 타당성 검토 : 도출된 분석문제나 가설에 대한 대안을 과제화하기 위해 다각적인 타당성 분석 수행
  - 경제적 타당성 검토 : 경제적으로 가능한 해결방안인지 타당성 검토, 비용 대비 편익 분석 관점
   ex) 예상되는 추가 매출, 기대수익, 해당 방안을 수행하기 위한 예상 비용 등
  - 데이터 타당성 : 데이터 존재여부
  - 기술적 타당성 검토 : 기술적으로 가능한 해결방안인지 타당성 검토
   . 기술적 분석 역량 확보 > 도출된 대안 중 가장 우월한 대안을 선택 분석 > 과제 정의서 형태로 시행 후 프로젝트 계획 입력자료로 화용
   ex) 가용 데이터 존재 여부 파악, 시스템 파악, 분석 역량 및 인력 파악 등

4. 상향식 접근법(Bottom Up)

ㅇ 빠르게 변화되는 대규모 데이터로부터 인사이트를 찾기 위해 Bottom up(발견>통찰) 수행 방법으로 문제가 명확하지 않은 경우 활용 가능 (ex. 지도학습, 비지도학습, 프로토타이핑 접근법, 디자인씽킹)
ㅇ 통계적 분석에서는 인과관계(원인과 결과) 분석을 위해 가설을 설정하고 이를 검정하기 위해 모집단으로 표본을 추출하고, 그 표본을 이용한 가설 검정을 하는 방식으로 문제를 해결하지만, 빅데이터 환경에서는 논리적인 인과관계 분석 뿐만 아니라 상관관계 분석 또는 연관분석을 통해 다양한 문제해결에 도움을 받을 수 있다. 즉, 인과관계로부터 상관관계 분석으로의 이동이 빅데이터 분석에서의 주요 변화라고 할 수 있다. (빅데이터 분석을 통해 ‘왜’ 그런 일이 발생하는지 역으로 추적하면서 문제를 도출하거나 재정의)
ㅇ 지도학습 : 정답(종속변수)이 있는 데이터를 활용하여 분석 모델을 구축, 명확한 목적 하에 데이터 분석을 실시하는 것, 도출되는 값에 대하여 사전에 인지하고 어떤 데이터를 넣었을 때 어떤 결과가 나올지 예측하는 것. (ex. 회귀분석, 분류분석)
ㅇ 비지도학습 : 정답(종속변수)이 없는 데이터를 활용하여 분석 모델을 구축하는 것으로 데이터 결합 및 연관성 등을 중심으로 데이터 상태를 표현, 데이터 자체만을 가지고 그룹들을 도출함으로써 해석이 용이하지는 않지만 새로운 유형의 인사이트를 도출하는 방식 (ex. 군집분석, 연관성 분석)
ㅇ 프로토타이핑 접근법 : 문제가 불분명한 경우 분석을 수행하고 결과를 개선 해나가는 방식으로 시행착오 해결법이라고도 불림(시행착오를 통한 문제해결)

  - 요구사항이나 데이터를 정확히 규정하기 어렵고 데이터소스도 명확하게 파악하기 어려운 경우 분석을 시도하고 결과 확인하면서 반복적으로 개선함으로써 완전하지는 못하더라도 신속하게 해결책이나 모델을 제시함으로써 문제를 좀 더 명확하게 인식하고 필요한 데이터를 식별하여 구체화하는 접근 방식으로 빅데이터 분석 환경에서 유용
  - 빅데이터 환경에서 프로토타이핑의 필요성
   . 문제에 대한 인식 수준 : 문제 정의가 불명확하거나 이전에 접해보지 못한 새로운 문제인 경우 사용자 또는 이해관계자는 프로토타입을 이용하여 문제를 이해하고, 이를 바탕으로 구체화하는데 도움을 받을 수 있다.
   . 필요데이터 존재 여부의 불확실성 : 대체 불가능한 데이터를 사전에 확인한다면 불가능한 프로젝트를 수행하는 리스크를 사전에 방지할 수 있다.
   . 데이터 사용 목적의 가변성
ㅇ 애자일 모델 : 전체적인 플랜을 짜고 문서를 통해 주도해 나가던 과거의 방식(워터풀 모델)과 달리 앞을 예측하며 개발하지 않고, 일정한 주기를 가지고 끊임없이 프로토타입을 만들어내며 필요할 때마다 요구사항을 더하고 수정하며 커다란 SW를 개발해 나가는 방식

5. 비지도학습과 지도학습

ㅇ 비지도학습 : 일반적으로 상향식 접근방식의 데이터분석 비지도 학습 방법에 의해 수행된다. 비지도학습은 데이터 분석의 목적이 명확히 정의된 형태의 특정 필드의 값을 구하는 것이 아니라 데이터 자체의 결합, 연관성, 유사성 드응ㄹ 중심으로 데이터의 상태를 표현하는 것이다.
 - 기법 : 장바구니분석, 군집분석, 연관분석, OLAP, SOM, 주성분분석, 기술통계 및 프로파일링
 - 예시 : 고객의 과거 거래 구매 패턴을 분석했다. 고객이 상품을 구매할 때 동시에 구매한 상품을 분석했다.

ㅇ 지도학습 : 명확한 목적 하에 데이터를 분석하는 것으로 분류, 추측, 예측, 최적화를 통해 분석을 실시하고 지식을 도출한다.
 - 기법 : 의사결정나무, 인공신경망, 회구분석, K-NN 사례기반 추론

 - 예시 : 대출 가능한 고객을 분류했다. 자동차 연비에 영향을 주는 요소를 분석했다.

320x100

<분석프로젝트 관리 방안>

1. 분석과제정의서

ㅇ 다양한 방식을 통해 도출한 분석 과제를 분석과제정의서 양식으로 정의한다.
ㅇ 향후 프로젝트 수행 계획의 입력물로 사용되기 때문에 프로젝트 수행하는 이해관계자가 프로젝트 방향을 설정하고 성공 여부를 판별할 수 있는 주요한 자료로서 명확히 작성되어야 한다.

2. 분석 과제 관리를 위한 주요 영역

ㅇ 분석 프로젝트는 다른 프로젝트 유형처럼 범위, 일정, 품질, 리스크, 의사소통 등 영역별 관리가 수행되어야 할 뿐 아니라 다양한 데이터에 기반한 분석기법을 적용하기 때문에 5가지 주요 속성을 고려하여 관리 필요
 1) Data Size(양) : 데이터 양이 많은 경우 하둡이나 클라우드 같은 분석환경이 요구됨
 2) Data Complexity(복잡도) : 정형/비정형/반정형 데이터 유형, 복잡도에 따라 분석기법 등이 달라 짐.

  - BI프로젝트처럼 정형 데이터가 분석 마트로 구성되어 있는 상태에서 분석하는 것과 달리 비정형, 반정형 데이터가 존재할 경우 데이터 확보 뿐만 아니라 분석 모델의 선정 등에 대한 사전 고려 필요
 3) Speed(분석 속도) : 분석의 속도가 서비스와 직결되는 경우 중요한 관리 요소
 4) Analytic Complexity(분석 복잡도) : 모델이 복잡할수록 정확도는 올라가지만 해석이 어려워지는 단점이 존재하므로 이에 관한 기준점을 사전에 정의하여 구축된 모델이 실 사용자가 해석하기 편리할 수 있는 모델이 요구됨
 5) Accuracy & Precision(정확도&정밀도) : 구축된 모델의 성능 파악
  - Accuracy는 모델과 실제 값 차이가 작다는 정확도를 의미하고, Precision은 모델을 지속적으로 반복했을 때 편차의 수준으로써 일관적으로 동일한 결과를 제시 한다는 것을 의미
   . 분석의 활용 측면에서는 Accuracy가 중요, 안정성 측면에서는 Precision이 중요
   . 이 둘의 관계는 트레이드 오프 관계로 모델의 해석 및 적용 시 사전에 고려해야 한다.
   . 도출된 결과 재해석을 통해 지속적인 반복 및 정교화가 수행되는 경우가 대부분이므로 프로토타이핑 방식의 애자일 프로젝트 관리방식에 대한 고려도 필요 

3. 분석 프로젝트 관리 방안

1) 범위(Scope) : 분석 기법의 변경에 따른 범위 변경을 인지 또는 프로젝트 산출물은 크게 보고서와 시스템 두 종류로 나누어지므로 그에 따른 자원 및 범위의 사전 고려가 필요
2) 시간(Time) : 데이터 분석 프로젝트는 초기에 의도했던 결과가 나오기 쉽지 않기 때문에 시간이 소요 될 수 있음. 프로토타입 모델의 경우 Time Boxing 기법을 활용
 - Time Boxing기법 : 목표에 도달하지 못해도 다음 작업을 수행하는 방법으로 분석 결과에 대한 품질이 보장된다는 전제로 TIme Boxing 기법으로 일정관리르 진행하는 것이 필요함.

3) 원가(Cost) : 외부 데이터 구매 및 유료 버전의 분석 툴에 대한 비용 조사
4) 품질(Quality) : 프로젝트 품질은 QC와 QA로 나누어 수행, 분석 프로젝트 수행 결과에 대한 품질 목표를 사전에 수립
5) 통합(Integration) : 분석 프로젝트 관리 프로세스들이 모두 통합적으로 운영될 수 있도록 관리
6) 조달(Procurement) : 프로젝트 목적성에 맞는 외부 자원을 적절하게 운영할 수 있도록 관리
7) 이해관계자 : 분석 프로젝트는 다양한 전문가가 참여하므로 이해관계자간 식별 및 관리 요구
8) 자원 : 인력 확보를 위한 전문가 확보
9) 리스크 : 데이터 부족 및 미확보 등 장애요소 발생에 대한 대응 방안 수립
10) 의사소통 : 프로젝트 관련 모든 결과를 프로젝트 이해관계자가 공유할 수 있도록 환경 조성

 

<관련 기출문제>

2023.02.15 - [자격증공부] - [ADsP] (2과목) 데이터분석 기획 - 데이터분석 기획 Part2 기출문제

[ADsP] (2과목) 데이터분석 기획 - 데이터분석 기획 Part2 기출문제

 

<ADsP 요약+기출문제 자료 다운로드(바로가기)>

ADsP 빅데이터분석준전문가 자격증 대비 요약 및 기출 | 10000원부터 시작 가능한 총 평점 0점의 자