전체 글

[DEVOCEAN OPENLAB] SKT 데보션 오픈랩 2기 10.21

24년 10월 21일 을지로 삼화타워에서 진행한 스터디 후기를 데보션 테크 블로그에 작성하였습니다.https://url.kr/chx9o4 OpenLab 2기 - Cloud 에서 AI 활용하기 4번째 모임(24.10.21) devocean.sk.com

[머신러닝] 회귀(Regression) 모델과 성능지표

1. 회귀 모델  독립 변수와 종속 변수 사이의 관계를 파악하여 특정 변수 값을 예측하는 통계적 기법, 쉽게 말해 과거의 데이터를 기반으로 미래의 값을 예측하는 모델입니다.  주식 가격 예측, 주택 가격 예측 등에 사용됩니다.   회귀 모델은 각 특성이 동일한 중요도와 스케일을 가지고 있다고 가정하여, 모델 학습을 수행합니다. 그래서 전처리(preprocessing)과정에서 minmaxscaling보다는 표준화(standardization)가 더 적합합니다.  이상치 때문인데 minmax는 이상치가 존재할 경우 0~1 사이로 압축되는 과정에서 극단적인 값들이 모델에 큰 영향을 줄 수 있습니다. 표준화는 평균과 표준편차를 사용하기 때문에 이상치가 있더라도 분포를 균일하게 유지할 수 있게 해줍니다.(데이터와..

[머신러닝] 혼동행렬(Confusion Matrix)과 성능지표

머신러닝 분류 모델의 성능을 평가할 때 주로 사용되는 개념인 혼동행렬과 성능지표들에 대해서 알아보겠습니다. 가끔 보는 내용이라 매번 헷갈리기 때문에 이번에 정리해보려 합니다.  1. 혼동행렬(Confusion Matrix)  혼동행렬(Confusion Matrix)는 다음과 같이 생겼습니다.    모델이 객체를 분류할 때의 예측한 결과와 실제 결과를 비교하여 분류 모델이 얼마나 잘 작동하는지 보여줍니다.  *TP(True Positive, 참 긍정): 실제 "긍정(True) 클래스"인 샘플을 모델이 "긍정 클래스"라고 정확히 예측한 수*TN(True Nagetive, 참 부정): 실제 "부정(Negative) 클래스"인 샘플을 모델이 "부정 클래스"라고 정확히 예측한 수*FP(False Positive,..

[AWS] Glue to Redshift 데이터 옮기기

AWS의 managed 서비스인 glue를 이용해 데이터 ETL을 해보는 실습을 진행해보겠습니다.  0. 아키텍처    *버지니아 북부(us-east-1)을 기준으로 진행합니다.  1. Glue와 Redshift  1) Glue  aws glue는 완전 관리형 ETL 작업의 자동화를 제공하며, pyspark 기반의 대규모 데이터 처리에 적합한 서비스입니다.*ETL(Extract, Transform, Load)의 약자로 데이터를 추출하고 변환한 뒤 로드하는 작업을 의미합니다.    Glue의 대표 리소스인 Crawler와 Data Catalog  2) RedShift    Redshift는 AWS에서 제공하는 완전 관리형 데이터 웨어하우스 서비스로, 대규모 데이터를 빠르게 분석할 수 있습니다. 여러 소스의..

[자격증] 정보처리기사 실기 후기

한국산업인력공단에서 진행하는 24년 기사 2회 합격자 발표가 나왔습니다! 제가 응시한 과목은 "정보처리기사"이며 7월 28일에 응시했습니다. 컴공 졸업생들이 많이 취득하는 자격증인데, 이번에 저도 취득하게 되었습니다. 유명한 자격증이라 시중에 많은 인강, 학습법 등이 나와있지만 제가 한 방법을 공유해 드릴까 합니다. 결론부터 말씀드리면 저는 독학했습니다. 혼자 공부했고 물론 문제집은 구매했습니다. 1. 책 제가 구매한 문제집은 "수제비 실기 FINAL 실전 모의고사"이고 예스 24등의 온라인 마켓에서 구매했습니다. 가격은 27,000원이네요 https://www.yes24.com/Product/Goods/125134920 2024 수제비 정보처리기사 실기 FINAL 실전 모의고사 - 예스242023년 정..

[AWS] ECS(EC2, Fargate), Cloudformation을 이용한 웹 APP 배포

AWS의 서비스인 ECS에서 인스턴스 유형으로 EC2 시작유형과 Fargate를 각각 사용해 웹 APP을 배포해 보도록 하겠습니다.  *리전은 버지니아 북부(us-east-1)을 기준으로 합니다.  1. Cloudformation으로 VPC등 스택 배포하기      파일을 다운 받습니다.    기존 템플릿 선택, 템플릿 파일 업로드 > 다운받은 파일 업로드    이름은 ecs-workshop  3단계 스택 옵션 구성은 건너뜁니다.  그렇게 생성을 누르고 기다려줍니다.    CREATE_IN_PROGRESS에서 CREATE_COMPLETE가 될 때까지 기다립니다.  VPC 콘솔로 들어가서 VPC가 잘 생성되었는지 확인하시면 완료입니다.  2. EC2 상에 VScode IDE 환경 구축  준비된 yaml 파..