데이터로그😎
Data 저장소 본문
Data 저장소
- 데이터 분석을 위해서는 먼저 데이터 수집 & 적재가 필요.
- 데이터를 적재하는 저장소, 즉 데이터베이스(Database,DB) 에는 3가지 스타일이 있음.
- Data Mart , Data Warehouse, Data Lake
- 이들은 데이터 특성 , 데이터 활용방식에 따라 다르게 사용됨.
https://panoply.io/data-warehouse-guide/data-mart-vs-data-warehouse/
데이터 레이크
- 사전 정의된 구조 없이 방대한 양의 원시 데이터가 그대로 저장됨
- 기업이 많은 양의 정형 및 비정형 데이터(ex. 소셜 미디어 또는 클릭스트림 데이터)를 저장하고, 이를 실시간 분석, 데이터 사이언스 및 머신러닝 사용 사례에 즉시 이용 가능하게 함
- 데이터 레이크 사용 시 형식의 변경 없이 데이터를 원본 형식 그대로 수집 가능
데이터 웨어하우스
- 기업 전체에 대한 비즈니스 인텔리전스 및 분석을 지원하도록 설계된 데이터 관리 시스템
- 보통 기록 데이터를 포함한 방대한 데이터가 담겨있음
- 일반적으로 데이터 웨어하우스 내에 저장된 데이터는 애플리케이션 로그 파일, 트랜잭션 어플리케이션 등 광범위한 소스로부터 추출된 것들
- 보통의 경우 목적이 명확히 정의된, 구조화된 데이터를 보관
데이터 마트
- 영업, 재무, 마케팅 등 단일 주제 또는 LOB에 중점을 둔 단순한 형태의 데이터 웨어하우스
- 데이터 웨어하우스보다 적은 소스로부터 데이터를 수집
- 내부 운영체제, 중앙 데이터 웨어하우스, 외부 데이터 포함
'Data Engineering' 카테고리의 다른 글
[airflow] airflow(ubuntu)-mysql 연결하기? (0) | 2023.09.13 |
---|---|
[airflow] airflow 사용하기 (0) | 2023.09.11 |
[ubuntu] 로컬 WSL(ubuntu) - vscode 연결하기 (0) | 2023.09.11 |
[ubuntu] 로컬에 ubuntu(linux)를 설치하는 건에 관하여.... (0) | 2023.09.09 |
Data architecture (0) | 2023.09.07 |