-
AWS Lambda 트리거 생성 - S3에 새 파일이 저장될 때데이터 엔지니어링 2023. 1. 17. 00:27
AWS Data Wrangler
AWS 환경에서 ETL 작업을 간편화하기 위해 사용하는 Python Library
CSV 파일을 Parquet 파일로 변경, Pandas 라이브러리를 기초로 해서 AWS의 Datalake 관련 서비스들을 연결 등의 기능을 사용 가능하다.Lambda 사용을 위해 필요한 계정의 IAM 권한
- S3 bucket 읽기 권한
- S3 bucket 쓰기 권한
- Amazon CloudWatch 로그 쓰기 권한
- 모든 Glue API 접근 권한
'데이터 엔지니어링' 카테고리의 다른 글
파이프라인 설계를 위한 고려사항 (0) 2023.01.18 데이터 보안 및 거버넌스 in AWS (0) 2023.01.18 데이터 엔지니어링 도구 in AWS (1) 2023.01.16