[Cloud]

[AWS] Glue to Redshift 데이터 옮기기

AWS의 managed 서비스인 glue를 이용해 데이터 ETL을 해보는 실습을 진행해보겠습니다.  0. 아키텍처    *버지니아 북부(us-east-1)을 기준으로 진행합니다.  1. Glue와 Redshift  1) Glue  aws glue는 완전 관리형 ETL 작업의 자동화를 제공하며, pyspark 기반의 대규모 데이터 처리에 적합한 서비스입니다.*ETL(Extract, Transform, Load)의 약자로 데이터를 추출하고 변환한 뒤 로드하는 작업을 의미합니다.    Glue의 대표 리소스인 Crawler와 Data Catalog  2) RedShift    Redshift는 AWS에서 제공하는 완전 관리형 데이터 웨어하우스 서비스로, 대규모 데이터를 빠르게 분석할 수 있습니다. 여러 소스의..

[AWS] ECS(EC2, Fargate), Cloudformation을 이용한 웹 APP 배포

AWS의 서비스인 ECS에서 인스턴스 유형으로 EC2 시작유형과 Fargate를 각각 사용해 웹 APP을 배포해 보도록 하겠습니다.  *리전은 버지니아 북부(us-east-1)을 기준으로 합니다.  1. Cloudformation으로 VPC등 스택 배포하기      파일을 다운 받습니다.    기존 템플릿 선택, 템플릿 파일 업로드 > 다운받은 파일 업로드    이름은 ecs-workshop  3단계 스택 옵션 구성은 건너뜁니다.  그렇게 생성을 누르고 기다려줍니다.    CREATE_IN_PROGRESS에서 CREATE_COMPLETE가 될 때까지 기다립니다.  VPC 콘솔로 들어가서 VPC가 잘 생성되었는지 확인하시면 완료입니다.  2. EC2 상에 VScode IDE 환경 구축  준비된 yaml 파..

[AWS] iam instance profile 확인 명령어

1. 확인 명령어 aws iam list-instance-profiles  2. 삭제  aws iam delete-instance-profile --instance-profile-name   3. 생성 aws iam create-instance-profile --instance-profile-name

[AWS] SNS와 Cloudwatch를 이용한 모니터링과 오토스케일링

지난 포스팅에서 로드밸런서를 이용해 두 개의 퍼블릿 서브넷에 있는 인스턴스에 부하 분산하는 방법을 알아보았습니다.   이제는 특정 인스턴스(서버)에 부하가 발생할 때 SNS와 Cloudwatch를 통해 알림을 수신하는 방법, 인스턴스에 부하가 기준 이상으로 생성될 때 오토스케일링으로 인스턴스의 수를 조절하는 방법을 알아보겠습니다.  https://hgk5722.tistory.com/571 [AWS] ALB를 이용한 EC2 부하 분산AWS 콘솔로 Application Load Balancer를 이용한 퍼블릭 서브넷에 있는 EC2에 부하 분산하는 방법을 알아보겠습니다.  *서울 리전(ap-northeast-2)를 기준으로 진행합니다.    1. VPC 생성  먼저 VPC를 생성hgk5722.tistory.c..

[AWS] 서버리스 3-tier 어플리케이션

서버리스란? 서버가 정말 없다는 뜻이 아닌 사용자가 서버 관리에 드는 노력이 필요없다는 뜻입니다. 사용한 만큼만 지불하는 시스템이고, 요청에 맞게 스케일링이 가능하며, 높은 보안 수준 또한 제공합니다.  서버리스 서비스의 종류는 여러가지가 있는데 COMPUTE에는 Lambda, Fargate가 있고 DATA STORES에는 S3, Aurora serverless, DynamoDB가 있으며, INTEGRATION에는 EVENTBridge, API Gateway, SQS, SNS, Step Functions, AppSync 등이 있습니다.  이번엔 S3, API Gateway, Lambda, DynamoDB 서버리스 서비스를 이용해 아키텍처를 구성하겠습니다.    정적 웹사이트를 호스팅 하는 S3와 람다의 ..

[AWS] ALB를 이용한 EC2 부하 분산

AWS 콘솔로 Application Load Balancer를 이용한 퍼블릭 서브넷에 있는 EC2에 부하 분산하는 방법을 알아보겠습니다.  *서울 리전(ap-northeast-2)를 기준으로 진행합니다.    1. VPC 생성  먼저 VPC를 생성하겠습니다.  VPC(virtual private cloud)의 약자로 AWS에서 정의한 가상 네트워크인데 이 안에서 다양한 컴퓨팅 자원의 통신을 가능하게 합니다.    왼쪽 메뉴바 -> VPC -> "VPC 생성" 클릭    VPC 생성에서 "VPC 등"을 선택한 뒤 이름은 "VPC-Lab" IPv4는 10번 대역폭인 10.0.0.0/16을 선택합니다.(만일 10번 대역폭을 사용 중이라면, IP를 다르게 설정하거나 172, 192번 대역폭으로 수정해서 사용하시..