[경영빅데이터분석사2급] 5과목 빅데이터기술 - 수집, 저장, 처리기술, 주요분석도구
1. 수집 ㅇ 개념 - 여러 데이터 소스로부터 필요한 데이터를 검색하여 수동 또는 자동으로 수집, 검색/수집/변환을 통해 정제된 데이터를 확보하는 기술까지 포함, 조직 외부의 무한한 데이터 중 필요로 하는 데이터를 찾아내는 것이 중요, 데이터를 저장하고 분석하기 위해 데이터를 변환하거나 통합하는 작업도 중요, 작은 데이터라도 모두 저장하고 실시간으로 저렴하게 데이터를 처리해야 한다. ㅇ 데이터 소스 유형 - 정형 데이터 : 로그 데이터, 시계열데이터 - 비정형 데이터 : 소셜 미디어, 오디오, 비디오, 자유형식 텍스트 - 센서데이터는 비정형데이터로 온도, QR코드 등이 있다. ㅇ 데이터 수집 기술 - 정형 : ETL, FTP, API, ODBC - 비정형 : 크롤링, RSS, API, FTP, Parsi..
더보기
[경영빅데이터분석사 2급] 4과목 빅데이터 분석 - 통계분석
3. 통계분석 : 기초통계, 설문조사, 상관관계, 회귀분석, 시계열분석, 다차원척도법(MDS), 주성분분석, 요인분석, 판별분석 ㅇ정의 : 가설 검증에 있고 많은 전제 조건을 만족시키는 경우 사용 ㅇ분류 - 기술통계학 : 수집된 자료를 정리, 요약하여 집단의 특성을 알기 쉽게 정보화 하는 방법 . 자료 : 질적자료(범주 -성별, 직업, 혈액형 등), 양적자료(키 몸무게 생산량과 같이 숫자로 표시, 이산형 – 고객 수, 차량 수와 같이 셀 수 있는 자료 / 연속형 – 길이, 무게, 온도 등과 같이 세는 것이 불가능한 자료) . 변수 : 관심의 대상이 되는 사물이나 사건의 속성 변수 척도 속성 설명 예시 특성 질적변수 명목척도 범주형 측정 대상이 어느 집단에 속하는지 분류 성별, 고객구분 연산 불가 서열척도..
더보기