데이터 분석 공부 일기

해당 포스터는 [견고한 데이터 엔지니어링(저자 조 라이스, 맷 하우슬리)] '1.2 데이터 엔지니어링 기술과 활동' 부분을 정리한 내용입니다.  목차1.2 데이터 엔지니어링 기술과 활동   1.2.1 데이터 성숙도와 데이터 엔지니어   1.2.2 데이터 엔지니어의 배경과 기술   1.2.3 비즈니스 책임   1.2.4 기술 책임   1.2.5 A에서 B로 이어지는 데이터 엔지니어링 역할의 연속성   1.2 데이터 엔지니어링 기술과 활동데이터 엔지니어의 필요 역량- 데이터 엔지니어링 수명 주기 전반에 걸쳐 어떤 데이터 도구가 적절할지 이해- 원천 데이터 생성 시스템 이해- 데이터 처리 및 선별 뒤, 데이터 소비자(분석가, 데이터 과학자)가 이를 어떻게 활용할지 파악- 비용, 민첩성, 확장성, 단순성, 재사..

https://jhcandoit.tistory.com/6 [Statistics] 통계 분석 방법(기술 통계, 추론 통계) 통계 분석의 방법에는 크게 기술 통계학, 추론 통계학이 있다. 각각의 정의와 주요 용어 등을 포스팅하며 정리하는 시간을 가지고자 한다. 1. 기술통계학(Descriptive Statistics) 데이터를 수집하여 요 jhcandoit.tistory.com 해당 게시글에 이어서 가설 검정에 관한 내용을 추가적으로 정리해보고자 한다. 가설 검정(Hypothesis test) 모집단의 특정 현상에 대한 예상이나 주장이 옳은지 그른지를 표본을 이용하여 판단하는 것. 1. 가설 1) 귀무가설(Null Hypothesis, H0) 보통 효과가 없다, 차이가 없다, 연관성이 없다 등 실험의 목적과..

통계 분석의 방법에는 크게 기술 통계학과 추론 통계학이 있다. 각각의 정의와 주요 용어 등을 정리해보겠다 ! 1. 기술통계학(Descriptive Statistics) 데이터를 수집하여 요약하고, 주요 특징들을 설명하는 통계적 방법이다. 주요 통계 지표 1) 평균(Mean) : 모든 데이터 값을 더한 후 총 개수로 나눈 값. 전체 데이터의 분포를 고려하여 계산되기 때문에, 이상치의 영향을 많이 받는다. 2) 중앙값(Median) : 데이터를 크기 순으로 정렬했을 때 가운데에 위치한 값. 데이터의 전체적인 분포보다는 데이터의 상대적인 순서를 고려하기 때문에, 이상치의 영향을 덜 받는다. 3) 최빈값(Mode) : 전체 데이터 중 가장 자주 나오는 값. 데이터가 숫자가 아닌 경우에도 사용 가능하고, 데이터들..

1. 정형 데이터 vs 비정형 데이터 - 정형 데이터 (Structured Data) : 구조화되고 체계적으로 정리된 데이터로, 행과 열의 형태로 구성된 테이블 형식이다. ex. 관계형 데이터베이스의 테이블, 엑셀 스프레드시트, CSV 파일 등 - 비정형 데이터(Unstructured Data) : 구조가 없거나 자유로운 형태를 가진 데이터로, 특정한 형식에 구속되지 않고 다양하다. ex. 텍스트 데이터(뉴스 기사, 소셜 미디어 게시물 등), 이미지, 오디오, 비디오, 센서 데이터 등 2. 정성적 데이터 vs 정량적 데이터 - 정성적 데이터(Qualitative Data)(= 질적 데이터, 범주형 데이터) : 특정한 범주나 특성에 속하는 데이터이다. 보통 문자와 같은 텍스트로 구성되며, 함축적인 의미를 ..