티스토리

데이터로그😎

검색하기

블로그 홈

데이터로그😎

fine-1004.tistory.com/m

지연v'_'v 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[Hadoop] HDFS(Hadoop Distributed File System) 🗂️ 분산 파일 시스템 (DFS - Distributed File System) DFS (Distributed File System) DFS란? 빅데이터는 여러 클러스터(컴퓨터)에 걸쳐 데이터를 분산하고, 각 클러스터(노드)의 컴퓨팅 파워를 사용하여 정보를 처리하는 것이다. DFS은 네트워크에 연결된 여러 머신의 스토리지를 관리하는 파일 시스템이다. 종류: HDFS, GFS, Ceph 등 DFS 작동방식 Distribution: 전체 데이터를 나눈 블록을 여러 노드에 분산 시킨다. 각 노드는 고유의 컴퓨팅 능력이 있기 때문에, DFS는 데이터 블록을 병렬 처리할 수 있다. Replication: DFS는 서로 다른 클러스터에 데이터 블록의 복사본을 만들어 놓는다. 이로 인해, 내결함성과 높은 동시성을 갖.. 공감수 0 댓글수 0 2024. 1. 22.
[Hadoop] Hadoop, Spark 환경 세팅 JAVA 환경변수 설정 대표적인 빅데이터 엔지니어링 시스템은 hadoop이다. hadoop은 JAVA를 기반으로 하기 때문에, 먼저 JAVA 환경변수를 설정해주겠다. 현재 Ubuntu 환경에서 진행 중이다. 1. ubuntu 계정 접속 2. JAVA 위치 확인 실제 java의 경로는 readlink 명령어로 확인 가능하다. 해당 명령을 실행한 결과, /usr/lib/jvm/java-11-openjdk-amd64/bin/java 라는 경로가 나왔다. 실제로 해당 디렉토리에 들어가보면 , /usr/lib/jvm/java-11-openjdk-amd64/bin 이라는 디렉토리 아래에 java라는 파일이 존재한다. 3. 환경변수에 JAVA 위치 등록 환경변수는 두가지 방법으로 등록 가능하다. /etc/profil.. 공감수 0 댓글수 2 2024. 1. 21.
[Hadoop] 빅데이터 아키텍처 빅데이터 아키텍처 빅데이터 아키텍처는 크게 (1) 원천 데이터, (2-1)수집 레이어, (2-2)처리 레이어, (3)저장 레이어, (4)분석&예측 레이어,(5) 출력 레이어로 구성된다. 단계 설명 종류 (1) Data Source - 데이터 소스를 선택하는 단계 - 어떤 데이터를, 어디서, 어떻게 수집할지 결정 - 데이터베이스 기반 (SQL) - 파일 기반 (CSV...) - 네트워크 기반 (API..) (2) Data Ingestion & Processing 실시간 데이터 수집, 처리 (Stream) 실시간 데이터 수집이란 대규모의 데이터 스트림에서 데이터를 수집하고 처리하는 것을 의미함. - 수집: kafka, Flume, NiFi (분산 메시징 시스템) - 처리: Spark Streaming, Fl.. 공감수 0 댓글수 0 2024. 1. 21.
[Linux] 8. Internet, Network, Server ② SSH, Port SSH (Secure SHell) Client가 Server를 원격으로 제어할 때 SSH를 사용한다. Server 컴퓨터: SSH Server 설치되어 있어야 함 Client 컴퓨터: SSH Client 설치되어 있어야 함. SSH Client에 명령어를 입력하여 Server 컴퓨터를 제어한다. openssh가 설치되어 있는지 확인하시오. 만약 없다면... 아래 설치 command 참고 sudo apt-get install openssh-server openssh-client ssh start ssh server를 시작한다. sudo service ssh start 제대로 실행되었는지 확인 sshd~~가 있다면 정상! 이제 Client가 접속할 때를 대비하여 ssh 서버가 켜져있게 됨. SSH Clien.. 공감수 0 댓글수 0 2024. 1. 18.
[Linux] 8. Internet, Network, Server ① 인터넷 (Internet) 인터넷 인터넷은 전 세계적으로 연결된 컴퓨터 네트워크의 집합체로, 수많은 컴퓨터 및 네트워크 장치들이 정보를 교환하고 서로 통신할 수 있는 공간을 말한다. request, response가 반복되는 통신, 컴퓨터 간의 대화 예를들어 우리가 Web browser를 켜서 google.com 을 입력하고 엔터를 쳤다. 이를 통해 우리는 google server에 요청(request)를 한 것이다. 그리고 google server는 google.com 창을 보여줌으로써 응답(response)을 한다. 서버에 접속하는 법 domain name 사용: google.com 이 google server의 domain name이다. 이와 같은 도메인 일므을 웹 브라우저에서 검색하여 서버에 접속.. 공감수 0 댓글수 0 2024. 1. 17.
[Linux] 7. 권한 (permission) 권한에 대하여 unix 계열 시스템에서 permission을 통해 제어하는 대상 -> File & Directory Permission = 어떤 User가 어떤 File & Directory에 대해 읽기/쓰기/실행을 할 수 있도록 혹은 없도록 하는 권한 A 유저가 생성한 perm.txt라는 파일에 B 유저가 글을 작성하려 한다면 permission denied 오류가 뜬다. perm.txt 에 대한 권한을 확인해보자 ls -l perm.txt type access mode ( rw- / rw- / r --) rw- : user의 권한(여기서 user는 owner를 의미) (read, wright) (실행권한은 X) r- : group의 권한 (read) (쓰기, 실행권한은 X) r-- : other 유저.. 공감수 0 댓글수 0 2024. 1. 16.
[Linux] 6. 사용자 다중 사용자 여러명이 운영체제를 같이 사용하는 방법을 알아보자. id => 자신이 누군지 알 수 있다. 내 계정 확인하기. (base) ubuntu@JeeYeon:~$ id uid=1000(ubuntu) gid=1000(ubuntu) groups=1000(ubuntu),4(adm),20(dialout),24(cdrom),25(floppy),27(sudo),29(audio),30(dip),44(video),46(plugdev),116(netdev) uid = user id gid = group id who => 현재 이 시스템에 누가 접속해 있는가? 시스템에 접속한 모든 계정 확인하기 (base) ubuntu@JeeYeon:~$ who ubuntu pts/1 2024-01-16 10:02 아래의 사진은 c.. 공감수 0 댓글수 0 2024. 1. 16.
[Linux] 5. Process와 실행 (daemon, cron) 컴퓨터의 구조 구조 설명 종류 Processor - 컴퓨터의 두뇌. 주어진 명령어를 해독, 실행. - Memory에 올라와 있는 상태의 프로그램을 CPU가 읽어서 동작 후 데이터 처리 CPU Memory - 프로그램을 실제 사용할 때 storage의 프로그램을 읽어서 memory에 적재시킴. - 실행되지 않는 프로그램은 memory에 올라오지 않음 - 프로그램이나 작업을 수행하는 데 필요한 데이터, 명령을 임시저장. - 전원이 꺼지면 데이터 손실. RAM, cache Storage - 프로그램이 깔려있는 장소 (명령어) - 데이터를 영구적으로 저장, 보존. HDD, SSD Storage : command(mkdir, top, rm등)는 /bin, /sbin과 같은 storage에 파일의 형태(*progr.. 공감수 0 댓글수 0 2024. 1. 16.
[Linux] 4. 디렉토리 구조와 파일 찾기 디렉토리 구조 참조: https://www.thegeekstuff.com/2010/09/linux-file-system-structure/ linux에서 root 위치에서 pwd를 실행하면 / 라고 뜬다. 이 때 root의 하위 디렉토리들을 살펴보자. (base) ubuntu@JeeYeon:/$ tree -L 1 . ├── bin -> usr/bin ├── boot ├── dev ├── etc ├── home ├── init ├── lib -> usr/lib ├── lib32 -> usr/lib32 ├── lib64 -> usr/lib64 ├── libx32 -> usr/libx32 ├── lost+found ├── media ├── mnt ├── opt ├── proc ├── root ├── run ├.. 공감수 0 댓글수 0 2024. 1. 15.
[Linux] 3. Shell & Shell script Kernel & Shell hardware - 물리적인 컴퓨터 시스템의 구성요소 - 메모리, 하드디스크, SSD, CPU Kernel - 운영체제의 핵심 부분 - 하드웨어와 소프트웨어 간의 통신을 담당 - 시스템 리소스 관리 - Window 커널, Linux 커널, macOS 커널 등 Shell - 사용자와 운영체제 간의 중개자 - 명령어를 해석하고 실행하여 사용자에게 서비스 제공 - 명령어를 해석하여 kernel에 전달 - Bash, Zsh, Fish Applications - 사용자가 직접 상호작용하거나 업무를 수행하는 소프트웨어 어플리케이션 - 텍스트 편집기, 웹 브라우저, 게임, 그래픽 소프트웨어 Shell: bash vs zsh cd + 스페이스바 + tab 2번 cd를 입력후 스페이스바 한 번.. 공감수 0 댓글수 0 2024. 1. 15.
[Linux] 2. IO Redirection - output Unix Process Standard Input = 명령어 (예: ls-l) Standard Input의 결과물 의 종류 (Output의 종류) Standard Output 예를 들면, Input으로 ls -l 명령어를 입력했다면 "현재 디렉토리에 위치한 파일명을 출력" 한 것이 output이 된다. 기본적으로 모니터에 output이 출력된다. Standard Error 만약 Input의 명령어가 잘못되었다면? Error가 출력된다. Redirection - output Redirection 이란? 리눅스에서의 리다이렉션은 명령어의 입력이나 출력을 다른 위치로 전환하거나 저장하는 것을 의미합니다. 쉘에서 사용되는 명령어의 입출력을 조절하는 데 사용됩니다. 주로 파일 또는 다른 프로세스와의 통신에 활용됩.. 공감수 0 댓글수 0 2024. 1. 15.
[Linux] 1. 리눅스 기초 GUI & CLI GUI (Graffic User Interface) 특징 그래픽 요소를 사용하여 사용자와 시스템 간의 상호 작용을 제공합니다. 일반적으로 아이콘, 버튼, 창, 메뉴 등의 시각적 요소를 포함합니다. 마우스를 사용하여 작업을 수행하며, 시각적으로 직관적이고 사용하기 쉽습니다. 일반적으로 더 많은 리소스를 사용하며, 높은 수준의 편의성을 제공합니다. 예시 Windows, macOS, Ubuntu Desktop 등의 운영 체제에서의 데스크톱 환경. CLI (Command Line Interface) 특징 명령어를 텍스트로 입력하여 시스템과 상호 작용합니다. 주로 키보드를 사용하며, 명령어를 통해 작업을 수행합니다. 자원 사용량이 적고, 일반적으로 빠른 작업이 가능합니다. 학습 곡선이 높을 수 .. 공감수 0 댓글수 0 2024. 1. 14.
[Spark] Spark SQL에서 날짜 형식 중 년, 월, 일 따로 추출하는 법! spark3.0이 도입되면서 약간 룰이 달라졌다. 지금부터 도입 이전, 후에 어떻게 달라졌는지 알아보겠다. Spark 3.0 이전 from pyspark.sql import SparkSession spark = SparkSession.builder.appName('trip').getOrCreate() filepath = '/home/ubuntu/working/spark-example/data/fhvhv_tripdata_2020-03.csv' taxi_df = spark.read.csv(f'file:///{filepath}', inferSchema=True, header= True) taxi_df.show(5) 한 번 데이터 프레임의 데이터 형식을 알아볼까? taxi_df.printSchema() ####.. 공감수 0 댓글수 0 2023. 9. 15.
[Spark] Spark Machine-Learning 데이터 생성 from sklearn.datasets import load_iris import pandas as pd import numpy as np # iris datasets 로딩 iris = load_iris() iris_data = iris.data # feature iris_label = iris.target # label iris_columns = ["sepal_length", "sepal_width", "petal_length", "petal_width"] iris_pdf = pd.DataFrame(iris_data, columns=iris_columns) iris_pdf['target'] = iris_label iris_pdf spark ml에서도 사용할 수 있도록 iris_pdf는 cs.. 공감수 0 댓글수 0 2023. 9. 15.
[Spark] Spark SQL 데이터 불러오기 from pyspark.sql import SparkSession # spark session 생성 spark = SparkSession.builder.master('local').appName('spark-sql').getOrCreate() movies = [ (1, "어벤져스", "마블", 2012, 4, 26), (2, "슈퍼맨", "DC", 2013, 6, 13), (3, "배트맨", "DC", 2008, 8, 6), (4, "겨울왕국", "디즈니", 2014, 1, 16), (5, "아이언맨", "마블", 2008, 4, 30) ] # RDD movie_schema = ["id", "name", "company", "year", "month", "day"] attendances .. 공감수 0 댓글수 0 2023. 9. 14.
[Spark] Spark RDD 1. Resilient Distributed Dataset(RDD) 스파크에서 사용하는 데이터의 최소단위. 판다스에 넘파이가 있다면 spark sql, df에는 rdd가 있다! # 특징 RDD = 스파크의 핵심 데이터 모델 cluster에 있는 worker 의 메모리 안쪽에 RDD가 위치함. worker들의 메모리에 RDD가 쪼개져서 위치함. 각 RDD들은 서로 연관이 있음. 변경이 불가. Inplace 불가. 작업을 할 때마다 새로운 RDD를 계속 만들게 됨. 데이터 추상화 여러군데에 쪼개져있는 파일을 마치 하나의 파일처럼 사용할 수 있도록 추상화 함. 파일을 하나하나 신경써서 일일이 불러오는게 아니고 tool이 알아서 파악해서 불러옴. 100PB파일을 여러개의 HDFS에 분산되어 저장 HDFS에 분산.. 공감수 0 댓글수 0 2023. 9. 14.
분산 병렬 처리 시스템 (MPP, DFS) MPP(Massively Parallel Processing) MPP 구조 - 각각 다른 Machine & 각각 다른 DB - 여러개의 컴퓨터 특징 - 대용량 병렬 처리 개념의 등장 → 슈퍼컴퓨터(기상청,..) - 컴터 한대한대씩 거대한 데이터베이스를 하나씩 담당해서 따로따로 병렬로 처리 처리 순서 1. 중앙 컴퓨터가 명령 내림(Communications Facility) 2. 명령받은 머신들은 데이터를 분할해서 병렬처리한다. 단점 - 비싸다. - 데이터끼리 조인 필요할때는? 필연적으로 컴터들끼리의 네트워크 통신 필요.. - 한 컴터가 담당하는 데이터가 만약 2.5TB라면…. 이걸 컴터끼리 주고받는게 부담된다. = interconnect → 이를 대체하는 것이 HDFS - 이 때 GFS(Google Fi.. 공감수 0 댓글수 0 2023. 9. 14.
[airflow] airflow(ubuntu)-mysql 연결하기? mysql 계정 생성하기 id: air/ pw: 1234 생성해볼것 먼저 ubuntu에서 mysql 계정을 사용하여 아래 명령어를 입력하고 들어간다. mysql -u jeeyeon -p (jeeyeon 이라는 계정으로 패스워드 입력해서 접속할게요) jeeyeon 자리에 각자의 mysql 계정을 입력하면 된다. (보통 root를 사용한다. 혹은 root에 버금가는 권한을 가진 계정) (airflow-env) ubuntu@JeeYeon:~$ mysql -u jeeyeon -p Enter password: Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 19 Server version: 8.0.34-0ubu.. 공감수 0 댓글수 0 2023. 9. 13.
[airflow] airflow 사용하기 설치 & 기본 설정 가상환경 만들기 airflow를 사용할 때 이용할 가상환경인 ariflow-env 를 만들어주고 activate 시켰다. # 가상환경 생성 conda create -n airflow-env python=3.7 # 가상환경 activate conda activate airflow-env airflow 설치 설치 시 주의사항: 이전에 만든 airflow-env가상환경을 켜고 해당 환경에서 설치를 해야한다. 만약 base에 설치해버리면 추후 airflow-env를 활성화하고 해당 환경에서 dag생성시 진행되지 않는다. pip install apache-airflow airflow 데이터베이스 초기화 & user 생성 airflow db init airflow users create --ro.. 공감수 0 댓글수 0 2023. 9. 11.
[ubuntu] 로컬 WSL(ubuntu) - vscode 연결하기 로컬에서 wsl (ubuntu) 환경을 깔고 해당 환경을 vscode에서 사용하고 싶을 때? 정말 간단하다. 1. vscode 확장에서 WSL을 설치해줍니다. 2. 맨아래 >< 모양을 클릭합니다. 3. WSL에 연결을 클릭합니다. 4. 새창이 뜨면서 WSL: UBUNTU(계정명) 이 뜨면 완료! 공감수 0 댓글수 0 2023. 9. 11.
[ubuntu] 로컬에 ubuntu(linux)를 설치하는 건에 관하여.... 먼저 로컬에서 linux를 사용하려면 wsl을 설치해야 하는데, 아래의 사이트를 참고했다. https://webdir.tistory.com/541 ubuntu 설치 PS C:\Users\TEMP> wsl --install 설치 중: Ubuntu Ubuntu이(가) 설치되었습니다. Ubuntu을(를) 시작하는 중... Installing, this may take a few minutes... Please create a default UNIX user account. The username does not need to match your Windows username. For more information visit: https://aka.ms/wslusers Enter new UNIX username.. 공감수 0 댓글수 0 2023. 9. 9.
Data architecture 1. 빅데이터 구현 기술 단계 역할 활용기술 처리 수집 - 내외부 데이터 연동 -내외부 데이터 통합 Crawling, OpenAPI, FTP, RSS, .. 전처리 적재 - 대용량/실시간 데이터 처리 - 분산 파일 시스템 저장 Distributed File, No-SQL… 전처리 처리 - 데이터 선택, 변환, 통합, 축소 - 데이터 워크플로 및 자동화 Structured Processing, Unstructured Processing, Workflow, Scheduler 전처리 & 후처리 탐색 - 대화형 데이터 질의 - 탐색적 Ad-Hoc 분석 SQL Like, Distributed Programming, Exploration Visualization 후처리 분석 - 빅데이터 마트 구성 - 통계분석, 고.. 공감수 0 댓글수 0 2023. 9. 7.
Data 저장소 Data 저장소 데이터 분석을 위해서는 먼저 데이터 수집 & 적재가 필요. 데이터를 적재하는 저장소, 즉 데이터베이스(Database,DB) 에는 3가지 스타일이 있음. Data Mart , Data Warehouse, Data Lake 이들은 데이터 특성 , 데이터 활용방식에 따라 다르게 사용됨. https://panoply.io/data-warehouse-guide/data-mart-vs-data-warehouse/ 데이터 레이크 사전 정의된 구조 없이 방대한 양의 원시 데이터가 그대로 저장됨 기업이 많은 양의 정형 및 비정형 데이터(ex. 소셜 미디어 또는 클릭스트림 데이터)를 저장하고, 이를 실시간 분석, 데이터 사이언스 및 머신러닝 사용 사례에 즉시 이용 가능하게 함 데이터 레이크 사용 시 형식.. 공감수 0 댓글수 0 2023. 9. 7.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.