티스토리

지식, 기록, 공유
검색하기

블로그 홈

지식, 기록, 공유

hgk5722.tistory.com/m

마린독 님의 블로그입니다.

구독자
3
방명록 방문하기
공지 블로그 관련 모두보기

주요 글 목록

  • [AWS] Glue to Redshift 데이터 옮기기 AWS의 managed 서비스인 glue를 이용해 데이터 ETL을 해보는 실습을 진행해보겠습니다.  0. 아키텍처    *버지니아 북부(us-east-1)을 기준으로 진행합니다.  1. Glue와 Redshift  1) Glue  aws glue는 완전 관리형 ETL 작업의 자동화를 제공하며, pyspark 기반의 대규모 데이터 처리에 적합한 서비스입니다.*ETL(Extract, Transform, Load)의 약자로 데이터를 추출하고 변환한 뒤 로드하는 작업을 의미합니다.    Glue의 대표 리소스인 Crawler와 Data Catalog  2) RedShift    Redshift는 AWS에서 제공하는 완전 관리형 데이터 웨어하우스 서비스로, 대규모 데이터를 빠르게 분석할 수 있습니다. 여러 소스의.. 공감수 1 댓글수 0 2024. 9. 24.
  • [AWS] ECS(EC2, Fargate), Cloudformation을 이용한 웹 APP 배포 AWS의 서비스인 ECS에서 인스턴스 유형으로 EC2 시작유형과 Fargate를 각각 사용해 웹 APP을 배포해 보도록 하겠습니다.  *리전은 버지니아 북부(us-east-1)을 기준으로 합니다.  1. Cloudformation으로 VPC등 스택 배포하기      파일을 다운 받습니다.    기존 템플릿 선택, 템플릿 파일 업로드 > 다운받은 파일 업로드    이름은 ecs-workshop  3단계 스택 옵션 구성은 건너뜁니다.  그렇게 생성을 누르고 기다려줍니다.    CREATE_IN_PROGRESS에서 CREATE_COMPLETE가 될 때까지 기다립니다.  VPC 콘솔로 들어가서 VPC가 잘 생성되었는지 확인하시면 완료입니다.  2. EC2 상에 VScode IDE 환경 구축  준비된 yaml 파.. 공감수 1 댓글수 1 2024. 9. 8.
  • [AWS] iam instance profile 확인 명령어 1. 확인 명령어 aws iam list-instance-profiles  2. 삭제  aws iam delete-instance-profile --instance-profile-name   3. 생성 aws iam create-instance-profile --instance-profile-name 공감수 0 댓글수 0 2024. 9. 8.
  • [AWS] SNS와 Cloudwatch를 이용한 모니터링과 오토스케일링 지난 포스팅에서 로드밸런서를 이용해 두 개의 퍼블릿 서브넷에 있는 인스턴스에 부하 분산하는 방법을 알아보았습니다.   이제는 특정 인스턴스(서버)에 부하가 발생할 때 SNS와 Cloudwatch를 통해 알림을 수신하는 방법, 인스턴스에 부하가 기준 이상으로 생성될 때 오토스케일링으로 인스턴스의 수를 조절하는 방법을 알아보겠습니다.  https://hgk5722.tistory.com/571 [AWS] ALB를 이용한 EC2 부하 분산AWS 콘솔로 Application Load Balancer를 이용한 퍼블릭 서브넷에 있는 EC2에 부하 분산하는 방법을 알아보겠습니다.  *서울 리전(ap-northeast-2)를 기준으로 진행합니다.    1. VPC 생성  먼저 VPC를 생성hgk5722.tistory.c.. 공감수 1 댓글수 0 2024. 9. 7.
  • [AWS] 서버리스 3-tier 어플리케이션 서버리스란? 서버가 정말 없다는 뜻이 아닌 사용자가 서버 관리에 드는 노력이 필요없다는 뜻입니다. 사용한 만큼만 지불하는 시스템이고, 요청에 맞게 스케일링이 가능하며, 높은 보안 수준 또한 제공합니다.  서버리스 서비스의 종류는 여러가지가 있는데 COMPUTE에는 Lambda, Fargate가 있고 DATA STORES에는 S3, Aurora serverless, DynamoDB가 있으며, INTEGRATION에는 EVENTBridge, API Gateway, SQS, SNS, Step Functions, AppSync 등이 있습니다.  이번엔 S3, API Gateway, Lambda, DynamoDB 서버리스 서비스를 이용해 아키텍처를 구성하겠습니다.    정적 웹사이트를 호스팅 하는 S3와 람다의 .. 공감수 2 댓글수 1 2024. 9. 4.
  • [AWS] ALB를 이용한 EC2 부하 분산 AWS 콘솔로 Application Load Balancer를 이용한 퍼블릭 서브넷에 있는 EC2에 부하 분산하는 방법을 알아보겠습니다.  *서울 리전(ap-northeast-2)를 기준으로 진행합니다.    1. VPC 생성  먼저 VPC를 생성하겠습니다.  VPC(virtual private cloud)의 약자로 AWS에서 정의한 가상 네트워크인데 이 안에서 다양한 컴퓨팅 자원의 통신을 가능하게 합니다.    왼쪽 메뉴바 -> VPC -> "VPC 생성" 클릭    VPC 생성에서 "VPC 등"을 선택한 뒤 이름은 "VPC-Lab" IPv4는 10번 대역폭인 10.0.0.0/16을 선택합니다.(만일 10번 대역폭을 사용 중이라면, IP를 다르게 설정하거나 172, 192번 대역폭으로 수정해서 사용하시.. 공감수 0 댓글수 0 2024. 9. 4.
  • [AWS] EKS에서 트래픽 유발해서 HPA 스케일링 확인하기(with ECR) EKS를 사용하면 컨트롤 플레인(마스터 노드)를 AWS가 관리해 줍니다. 사용자는 워커 노드에만 집중할 수 있습니다. 컴퓨팅 자원의 유연한 사용도 알아서 조정해 줍니다.  HPA(horizontal pod autoscaler)가 있는데 노드(EC2 인스턴스) 속 특정 응용 프로그램을 실행하는 파드(pod)가 사용하는 컴퓨팅 자원의 사용량이 지정한 임계값을 넘어서면(ex. CPU 사용률 50% 이상) 새로운 파드를 생성하라고 Deployment에 요청을 주어 새로운 파드를 생성하게 돕습니다. 그렇게 파드는 둘이 되고 워크로드가 분산되어 부하를 줄일 수 있습니다.  쉽게 말해 노드 속 파드들의 수를 늘릴지 줄일지 판단하는 역할을 하는 것이 HPA입니다.   EKS의 HPA에 임계값을 지정하고, 일부러 부하를.. 공감수 0 댓글수 1 2024. 8. 30.
  • [AWS] AWS CLI로 EKS 클러스터 만들기 aws cli로 EKS 클러스터 만드는 과정을 진행해 보겠습니다. 따라하시면 간단하게 만들고 삭제하시면 됩니다. 이런 명령어를 입력해서 생성이 되는구나를 이해할 수 있습니다.  1. CLI로 계정과 연결하기  먼저 본인의 로컬 컴퓨터에서 빈 폴더를 만들어 주시고, 그 이후 터미널을 열어 폴더의 경로와 일치 시켜줍니다.  저는 eks라는 이름의 빈 폴더에서 진행하겠습니다.  다음 명령어를 입력해 Access key, secret key를 입력합니다.  aws configure  액세스 키가 없다면 아래에 들어가서 생성해 주세요.액세스 키 생성하는 법 [AWS] IAM 계정에 액세스 키 만들기AWS에서 cli 접속을 위한 액세스 키를 만드는 법을 알아보겠습니다. 생성된 액세스 키는 타인과 공유하시면 안되고 .. 공감수 0 댓글수 0 2024. 8. 29.
  • [AWS] Cloudformation으로 쿠버네티스 클러스터 생성(EKS) AWS Cloudformation을 이용하면 테라폼의 역할을 대신할 수 있습니다. 대신 AWS에서만 사용 가능합니다.  콘솔에서 클라우드 포메이션으로 EKS 클러스터를 생성하고 그 위에 게임을 올리는 법까지 진행해 보겠습니다.  미리 할 것)  1. 자신의 운영체제에 맞는 aws cli 설치 2. iam 계정에 Access key, Secret key 생성 [AWS] IAM 계정에 액세스 키 만들기AWS에서 cli 접속을 위한 액세스 키를 만드는 법을 알아보겠습니다. 생성된 액세스 키는 타인과 공유하시면 안되고 개인 소장하셔야 합니다.  그리고 가급적 Root 계정이 아닌 IAM 계정을 이용해hgk5722.tistory.com  3. key pair 하나 생성하기  1. Cloudformation으로 클.. 공감수 1 댓글수 0 2024. 8. 27.
  • [AWS] IAM 계정에 액세스 키 만들기 AWS에서 cli 접속을 위한 액세스 키를 만드는 법을 알아보겠습니다. 생성된 액세스 키는 타인과 공유하시면 안되고 개인 소장하셔야 합니다.  그리고 가급적 Root 계정이 아닌 IAM 계정을 이용해 진행하시기를 권장드립니다.  1. 생성  AWS 오른쪽 위 자신의 아이디를 클릭하고 "보안 자격 증명" 부분을 클릭해 줍니다.    스크롤을 아래로 내리면 액세스 키 부분이 있습니다. 거기서 "액세스 키 만들기" 클릭    사용 사례를 선택하고 아래에 있는 확인 사항을 클릭하고 다음으로 넘김니다.    이 부분은 이름 설정입니다. 원하는 이름을 입력해 주면 됩니다.    "액세스 키 만들기"를 누르면 액세스 키가 생성되는데 이 곳에 출력되는 액세스 키와 비밀 액세스 키를 자신이 원하는 공간에 적어놓거나 아니.. 공감수 0 댓글수 0 2024. 8. 27.
  • [AWS] SSH 인바운드 규칙 추가 EC2 인스턴스가 콘솔에서 위의 버튼으로 접속이 안되서 아래와 같이 화면이 출력되는 경우가 있습니다.    그런 경우 EC2인스턴스가 속해 있는 보안그룹에 SSH 22번 포트가 닫혀 있는 경우일 수 있으니 다음과 같이 수정해 주시면 됩니다.  AWS 콘솔 -> EC2 클릭 -> 왼쪽 메뉴바 아래에 있는 "네트워크 및 보안" -> "보안 그룹"선택    사진에서 보시면 프로토콜에서 SSH가 없는 것을 확인할 수 있습니다!  인바운드 규칙 편집을 눌러 들어가신 뒤 아래 사진과 같이 해주시면 됩니다    규칙 추가 -> 유형 "SSH" 선택 -> 소스 "Anywhere-IPv4" 선택 -> "규칙 저장" 클릭  설명은 선택사항이라 넣고 싶으면 넣으면 됩니다.    안되던 콘솔 창을 새로고침하면, 정상적으로 접.. 공감수 0 댓글수 0 2024. 8. 11.
  • [AWS] 권한(permission), IAM 정책(policy), IAM 역할(role) 1. Root 사용자, IAM 사용자  AWS에는 루트(root) 사용자와 루트 사용자에게 권한을 받은 IAM 사용자가 있습니다.  IAM은 Identity and Access Management의 약자이며, AWS에서 사용자를 생성하고 리소스에 대한 접근을 제어하기 위해 생성합니다.  보안을 위해 루트 사용자는 IAM 사용자를 생성하고 권한을 부여하는데에만 사용하는 것이 일반적이며, 대부분의 작업은 IAM 계정을 이용하는 것이 권장됩니다.  맨 처음 IAM 사용자를 생성하면 아무런 작업도 할 수 없는데, 루트 사용자가 IAM 사용자에게 어떠한 작업을 할 수 있도록 권한(permission)을 부여해 주어야 합니다.  이러한 권한을 부여할 때 사용자, 그룹에는 정책(Policy)을 AWS 리소스에는 역할.. 공감수 0 댓글수 0 2024. 8. 7.
  • [AWS] ElasticBeanStalk으로 생성된 S3 버킷 삭제하기 S3 버킷 중 ElasticBeanStalk을 생성하면 S3 버킷이 자동으로 생성되는데, 이 때의 S3 버킷은 기본적으로 삭제 권한이 없습니다.   Access Denied 당했다고 합니다.  그러면 버킷 정책을 삭제해야 하는데 다음과 같이 이동하면 됩니다.  1. 해당 S3 버킷 클릭  2. "권한" 클릭  3. 해당 부분 "삭제" 또는 "Allow"로 변경  *Action이 s3:DeleteBucket인 부분을 찾으시면 됩니다.  2번에서 권한을 누르고 아래로 스크롤 내리면 json 파일이 나오게 되는데 Sid 아래에 Effect 부분이 Deny로 되어 있기 때문에 삭제가 되지 않습니다. 그래서 편집으로 이 부분을 "Allow"로 변경하거나 오른쪽위에 있는 "삭제"버튼을 누르면 됩니다.    다시 콘.. 공감수 0 댓글수 0 2024. 6. 8.
  • [AWS] ssh 이용해서 private subnet 접근하기 VPC는 퍼블릭 서브넷 1개, 프라이빗 서브넷 1개 라우팅 테이블은 각각 1개씩 2개, 퍼블릭 라우팅 테이블만 인터넷 게이트웨이에 연결해주고 NAT 게이트웨이는 없습니다  1) VPC 생성 VPC -> VPC 생성   서브넷, 라우팅 테이블, 인터넷 게이트웨이 등 한 번에 생성하고 설정하기 위해 VPC 등을 클릭합니다  이름은 구분을 쉽게 하기 위해 test2로 하겠습니다 IPv4 CIDR 블록도 처음 설정시 서브넷 16으로 되어 있을텐데 초기값으로 설정합니다   위에서 말한대로 서브넷 수는 각각 1개, NAT 게이트웨이는 없음으로 설정합니다. 그리고 DNS 호스트 이름 활성화는 반드시 설정합니다!   그러면 위 사진과 같이 미리 보기가 나오게 됩니다 VPC 생성을 눌러줍니다   2) 보안 그룹 설정  .. 공감수 1 댓글수 0 2024. 3. 20.
  • [AWS] ec2에 퍼블릭 IPv4 DNS가 없을 때 해결 방법 내가 생성한 ec2에 이렇게 퍼블릭 IPv4 DNS가 없는 경우가 있습니다 이런 경우 해결 방법은 다음과 같습니다 VPC -> VPC -> 해당 ec2가 설정된 VPC 클릭 -> 작업 -> VPC 설정 편집 -> DNS 설정 -> DNS 호스트 이름 활성화 퍼블릭 IPv4 DNS가 나타난 것을 확인할 수 있습니다 공감수 0 댓글수 0 2024. 3. 20.
  • [AWS] describeavailabilityzones aws was not able to validate the provided access describeavailabilityzones aws was not able to validate the provided access credentials 회사에서 집으로 돌아온 후 VPC 설정을 하려하니 이러한 오류가 계속 발생했습니다. 맥북에서는 또 잘되길래 다시 검색을 하며 원인을 찾은 결과 집에서 사용하는 윈도우PC의 시간이 표준시간과 맞지 않는다는걸 발견했습니다. 그래서 윈도우 시간을 자동 맞춤으로 올바르게 맞춰준 후 AWS VPC 메뉴를 새로고침하니 문제가 사라졌습니다. 아마 컴퓨터의 로컬 시간도 고려해서 작업시간을 기록해 놓는게 원인이 아니었을까 생각합니다. 오류가 발생하던 사진을 첨부할 수 없어 매우 아쉽습니다. 미리 캡처를 해놨어야 했는데 놓쳐버렸습니다. VPC 이외에도 로드밸런서 생성불.. 공감수 0 댓글수 0 2024. 3. 19.
  • [AWS] AWS s3 버킷에 원격으로 파일 업로드 후 읽기 aws 콘솔을 사용하지 않고 s3에 파일을 원격으로 업로드 할 수 있습니다. 저는 vscode를 이용했습니다. import boto3 from botocore.exceptions import NoCredentialsError # AWS 자격 증명 및 리전 설정 aws_access_key = 'YOUR_LOCAL_FILE_PATH' aws_secret_key = 'YOUR_S3_BUCKET_NAME' region_name = 'YOUR_AWS_REGION' # S3 클라이언트 생성 s3_client = boto3.client('s3', aws_access_key_id=aws_access_key, aws_secret_access_key=aws_secret_key, region_name=region_name).. 공감수 0 댓글수 0 2023. 10. 11.
  • [AWS] 컨테이너 생성하기(mysql 설치, workbench 접속), for Mac 도커 버전을 확인해 줍니다. docker -v 1. mysql 설치 mysql 5.6 버전으로 설치해 주겠습니다. sudo docker pull mysql:5.6 5.6 버전이 정상적으로 설치된 모습입니다. pull(당겨오다) 명령어로 mysql을 도커허브에서 설치했으므로 이미지 파일입니다. 2. MySQL Docker 컨테이너 생성 및 실행( e:환경변수 설명, d: detach-데몬 백그라운드) root 유저를 초기 유저로 생성해 줍니다. 루트 유저의 비밀번호를 지정해 주어야 합니다. # --name 뒤엔 이름을 의미 mysql-lecture 말고 다른 이름도 가능, 를 지워버리고 원하는 비밀번호 입력 가능, # 3306:3306은 호스트포트 : 컨테이너포트 sudo docker run --name .. 공감수 0 댓글수 0 2023. 6. 1.
  • [AWS] 도커설치 및 사용하기 도커는 다음과 같은 과정을 가집니다. 일단 AWS EC2에 접속합니다. 1. 도커 설치를 진행하기전 repository 인덱스를 갱신합니다. sudo apt update 2. 도커 다운을 위한 패키지를 설치해줍니다. # HTTPS 프로토콜을 사용하여 안전한 방식으로 APT 패키지 관리자를 통해 패키지를 다운로드하고 설치할 수 있도록 해주는 패키지 sudo apt install apt-transport-https # 시스템의 신뢰할 수 있는 인증서 목록을 관리하고, # HTTPS 연결 및 다른 보안 프로토콜을 사용하는 패키지와의 통신을 안전하게 수행하게 해주는 코드 sudo apt install ca-certificates # curl은 우분투 20버전에 없기 때문에 curl을 사용하기 위한 라이브러리 다.. 공감수 0 댓글수 0 2023. 5. 31.
  • [AWS] S3 사용하기 + 버킷 생성 + 폴더 생성 + 퍼블릭액세스차단해제 오늘은 AWS에서 S3를 만들어 보겠습니다. AWS 메인 메뉴에서 S3로 접속해 줍니다. 사진 속 버킷 만들기를 클릭하여 버킷 생성 페이지로 이동합니다. 1-1. 버킷 만들기 1-2. 이름 생성 버킷 만들기에서 버킷 이름은 모든 리전에서 유니크한 하나의 이름만을 가져야 합니다. 그래서 생성 리전이 아시아 태평양(서울)이라 할지라도 다른 리전에서의 버킷과 이름이 중복되면 안됩니다. 따라서 오른쪽 위 리전표시도 "글로벌"이라고 표시됩니다. 1-3. 객체 소유권 객체 소유권에서의 ACL은 Acess control list를 의미합니다. 일단 비활성화로 지정합니다.(후에 변경 가능) 1-4. 퍼블릭 액세스 차단 설정 모든 퍼블릭 액세스 차단을 체크하여 권한이 있는 유저만 접근 가능하도록 해줍니다. 1-5. 버킷.. 공감수 0 댓글수 0 2023. 5. 23.
  • [AWS] cyberduck + php게시판 소스를 이용한 게시판 만들기 mysql workbench에 다음과 같은 3개의 테이블을 추가해줍니다. CREATE TABLE student ( id int NOT NULL AUTO_INCREMENT, name varchar(30), email varchar(40), num varchar(30), PRIMARY KEY(id) ); create table board ( num int not null auto_increment, id char(15) not null, name char(10) not null, subject char(200) not null, content text not null, regist_day char(20) not null, hit int not null, file_name char(40), file_type .. 공감수 0 댓글수 0 2023. 5. 17.
  • [AWS] RDS(Mysql) + DB생성 + ubuntu연동하기 + workbench(맥) 1. RDS 생성하기(mysql) aws의 rds로 접속합니다. 데이터베이스 생성을 클릭!! 표준 생성, 엔진 유형은 MYSQL 클릭 엔진 버전은 8.0.23을 선택! 템플릿은 "프리 티어"를 선택하도록 하겠습니다. 식별자 설정과 마스터 사용자 이름 그리고 마스터 암호(매우 중요)를 설정해 줍니다. 인스턴스는 db.t3.micro로 설정하도록 하겠습니다. 연결에서 퍼블릭 액세스를 "예"로 설정해줍니다. 퍼블릭 액세스 접근을 허용해야 rds를 외부에서 toad나 workbench등을 이용해 접근이 가능합니다. 이제 아래로 쭉 내리셔서 데이터베이스 생성을 누르시면 됩니다. 2. 프리티어 과금을 막기 위한 백업 설정 생성한 데이터베이스를 선택하고 수정을 클릭 아래로 쭉 내려서 추가 구성 - 백업 - 백업 보존.. 공감수 0 댓글수 0 2023. 5. 3.
  • [AWS] EC2 인바운드 규칙 편집+Apache+php(http+ssh)생성하기 EC2(ubuntu)가 생성되어 있다고 가정하고 진행하겠습니다. 1. 인바운드 규칙 편집 생성되어 있는 EC2의 "인스턴스ID" 클릭 밑으로 내려 보안탭의 "보안 그룹" 클릭 "인바운드 규칙 편집"을 클릭 "규칙 추가"를 누른 후 유형을 "SSH"로 설정 소스는 Anywhere-IPv4로 지정하고 0.0.0.0/0 으로 설정하게 되면 모든 주소가 서버에 접근할 수 있습니다. 2. EC2 인스턴스에 접근 "인스턴스에 연결"에 들어가서 "퍼블릭 IP주소 복사" 후 주소창에 그대로 입력하면 됩니다. 3. Apache 설치 퍼블릭 IP를 브라우저 주소창에 입력만하면 아무것도 나오지 않을 수 있습니다. 따라서 아파치를 설치해 주어야 합니다. 설치 방법은 다음과 같습니다. 업데이트 먼저 하시고~ sudo apt u.. 공감수 1 댓글수 0 2023. 5. 3.
  • [AWS] 우분투(리눅스 Linux) 기본 명령어 1. 우분투의 현재 위치 ~ 표시로 우분투의 홈 디렉토리 위치를 알 수 있습니다. 홈 디렉토리는 "/home/" 아래에 들어가 있습니다. / 는 루트 디렉토리를 의미하고, home은 홈 디렉토리를 의미합니다. 그래서 우분투의 여러 사용자 디렉토리는 루트 디렉토리 아래에 있는 home디렉토리에 위치합니다. 1-1. 홈 디렉토리로 이동하는 명령어 (Change Directory의 약자입니다.) cd cd ~ 위의 2가지 방법으로 홈 디렉토리로 이동할 수 있습니다. 2. 현재 디렉토리 위치 확인 명령어 pwd 3. 루트 유저의 권한을 빌리는 명령어 특정 명령어를 위해 잠시만 일반 유저의 권한을 뛰어넘는 슈퍼유저의 권한을 빌려오고 싶을 때가 있습니다. 그럴때 필요한 명령어가 sudo 명령어 입니다. (sudo는.. 공감수 0 댓글수 0 2023. 4. 11.
  • [AWS] AWS 프리티어 인스턴스 EC2 생성 및 접속 해제/중지 AWS를 이용한 웹 서버를 만들어 보겠습니다. EC2 서비스, 프리 티어(free tier)로 생성할 예정입니다. 그전에 EC2에 대한 개념적인 설명을 먼저 진행하겠습니다. 1. EC2 1-1. EC2란? Elastic Compute Cloud의 약자로 가상 서버 기능을 제공하는 클라우드 서비스를 의미합니다. 가상 서버 기능을 제공하는 클라우드 서비스이며 AWS의 물리적 서버를 가상화 기술을 이용하여 사용자들이 공동으로 사용할 수 있도록 해줍니다. 또한 온프레미스 환경에서 Window 서버와 LINUX 서버와 동일한 서비스를 제공합니다. 1-2. EC2 인스턴스 개요 인스턴스 : 클라우드의 가상 서버 우리가 사용할 프리티어에 알맞은 버전은 t2.micro 입니다. t는 가장 범용적으로 쓰이는 무료 버전의.. 공감수 1 댓글수 1 2023. 4. 3.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.