전체 글
-
AWS Lambda 트리거 생성 - S3에 새 파일이 저장될 때데이터 엔지니어링 2023. 1. 17. 00:27
AWS Data Wrangler AWS 환경에서 ETL 작업을 간편화하기 위해 사용하는 Python Library CSV 파일을 Parquet 파일로 변경, Pandas 라이브러리를 기초로 해서 AWS의 Datalake 관련 서비스들을 연결 등의 기능을 사용 가능하다. Lambda 사용을 위해 필요한 계정의 IAM 권한 S3 bucket 읽기 권한 S3 bucket 쓰기 권한 Amazon CloudWatch 로그 쓰기 권한 모든 Glue API 접근 권한
-
데이터 엔지니어링 도구 in AWS데이터 엔지니어링 2023. 1. 16. 14:54
데이터 수집 DMS ( Amazon Database Migration Service) 기존의 데이터베이스를 다른 데이터베이스로 마이그레이션 하거나 S3 기반 데이터 레이크로 동기화할 때 사용하는 서비스 CDC (Change Data Capture) 데이터베이스가 변경에 대한 로그 파일(database transaction log files)을 기반으로 S3에 변경점이 적용되는 것을 확인하고 기록하는 과정 Amazon Kinesis Series 스트리밍 데이터 수집 및 처리 과정을 간소화하는 관리형 서비스 Kinesis Data Firehose 스트리밍 데이터를 수신하고 일정 기간 동안 해당 데이터를 버퍼링 한 다음 지원하는 대상에 파일을 생성하는 서비스 버퍼링 한 데이터를 전달할 수 있는 대상이 제한되어..
-
Docker image build & Dockerfile도커 | 쿠버네티스 2022. 10. 29. 16:36
1. 도커 이미지(Docker image) 2. 베이스 이미지 3. Docker 명령어 4. Dockerfile: FROM / RUN 5. 도커 이미지의 레이어 1. 도커 이미지(Docker image) chroot : 파일을 격리하여 독립된 공간을 생성 # example directory tree root ├── sub1 │ ├── file1 │ └── file2 ├── sub2 │ └── file1 └── sub3 --> root ├── sub1 │ ├── file1 │ └── file2 ├── root │ └── file1 └── sub3 namespace : pid, mnt, net, ipc, uts, user, cgroup, time 등의 설정을 통해 독립된 공간을 생성 cgroup : 자원을 ..
-
[인프라] 서버 교양 4 - 스토리지인프라 2022. 6. 3. 22:45
더보기 출처 : https://namu.wiki/w/SMB https://namu.wiki/w/RPC https://ko.wikipedia.org/wiki/네트워크_파일_시스템 https://namu.wiki/w/AFP https://ko.wikipedia.org/wiki/POSIX https://ko.wikipedia.org/wiki/ISCSI https://ko.wikipedia.org/wiki/SCSI 스토리지 로컬 스토리지 서버 내부에 디스크를 설치해서 이용하는 저장장치 외부 스토리지 서버 외부에 준비한 스토리지 장비 또는 영역 DAS (Direct Attached Storage) 서버에 직접 연결하는 외부 스토리지 장비 DAS에 생성된 논리 드라이브를 내장 디스크의 논리 드라이브로 인식 DAS와..
-
[인프라] 서버 교양 3 - 디스크인프라 2022. 5. 31. 22:13
출처 : 인프라 엔지니어의 교과서 더보기 이전 글: https://ford.tistory.com/40 다음 글 : https://ford.tistory.com/42 디스크의 종류 SATA 하드디스크 가경이 저렴하다. 하루 8시간 정도의 가동 용도로 사용 SAS 하드디스크 고속으로 동작하고 신뢰성이 높다. 24시간, 365일 가동할 용도로 사용한다 FC 하드디스크 FC(Fibre Channel) 하드디스크는 초고속으로 동작하고 신뢰성이 높다. SAN 스토리지 등 엔터프라이즈 용도로 사용한다. 그 밖의 디스크 니어라인 하드디스크 온라인과 오프라인의 중간 상태인 니어 온라인이 정의되고, 그 상태에 적합한 하드디스크로 니어라인 하드디스크가 이용된다. 주로 아카이브의 장기 보존 용도를 전제로 하루에 몇 시간 정도..
-
[인프라] 서버 교양 2 - 메모리인프라 2022. 5. 31. 21:59
출처 : 인프라 엔지니어의 교과서 더보기 이전 글: https://ford.tistory.com/39 [인프라] 서버 교양 1 출처 : 인프라 엔지니어의 교과서 더보기 다음 글: 서버의 종류 랙 마운트형과 타워형 서버의 차이 랙 마운트형 랙 마운트형은 랙에 많은 수의 서버를 배치할 수 있도록 하였고 별도의 서버실이 ford.tistory.com 다음 글: 메모리 메모리 : 단기 기억 영역, 일시적으로 데이터를 기억할 수 있지만 전원이 공급되지 않으면 데이터가 모두 지워진다. 💡 장치 속에서 데이터의 흐름 (SSD, HDD) → (memory) → (L3, L2, L1) → CPU 💡 buffercache는 메모리의 데이터 저장소, 매우 자주 사용하는 데이터를 디스크가 아닌 buffercache에 저장해두..
-
[인프라] 서버 교양 1 - CPU인프라 2022. 5. 31. 21:37
출처 : 인프라 엔지니어의 교과서 더보기 다음 글: https://ford.tistory.com/40 [인프라] 서버 교양 1 출처 : 인프라 엔지니어의 교과서 더보기 다음 글: 서버의 종류 랙 마운트형과 타워형 서버의 차이 랙 마운트형 랙 마운트형은 랙에 많은 수의 서버를 배치할 수 있도록 하였고 별도의 서버실이 ford.tistory.com 서버의 종류 랙 마운트형과 타워형 서버의 차이 랙 마운트형 랙 마운트형은 랙에 많은 수의 서버를 배치할 수 있도록 하였고 별도의 서버실이 존재하여 냉각, 방진 등의 조건에 대해 비교적 자유로운 형태의 서버이다. 타워형 타워형은 사무실과 같은 공간에 비치하여 서버를 운용할 경우 사용되고 냉각, 방진 등의 조건을 신경 써야 하는 형태의 서버이다. 하드웨어 성능에 따라..
-
[클라우드] 클라우드 교양 1클라우드 2022. 5. 31. 21:32
Cloud란? It자원에 네트워크 연결을 통해 접근하여 it자원을 사용할 수 있도록 하는 서비스 💡 언젠가 컴퓨팅은 전화 시스템과 같이 공공재로 구성될 것입니다. 사용자들은 자신이 사용한 컴퓨팅 사용량만큼 돈을 지불할 것입니다. -존 메커시 💡 Cloud는 IT자원(서버 스토리지, 애플리케이션 등)에 네트워크(인터넷) 연결을 통해 접근하여 사용할 수 있도록 해주는 모델이다. -NIST(National Institute of Standards and Technology) CSP(Cloud Service Provider) Cloud 서비스 제공업체 Cloud의 이점 레거시 서버의 경우 사용률과 상관없이 서버 용량을 유지해야 하기 때문에 서버실 관리 인력, 전기료 등 유지 보수비용이 낭비된다. 하지만 Clou..