전체 글

[AWS certified] Machine Learning - Specialty (C01)

1) 자격증 아마존 클라우드의 인증 시험 중 하나인 Machine Learning - Specialty를 취득했습니다.  SKT 데보션 오픈랩 2기에서 스터디를 진행했는데 MLS-C01을 취득하는 걸 목표로 하는 스터디였습니다. 3개월 동안 진행 되는 스터디였는데 처음엔 응시해야 하나 말아야 하나 고민했었지만, 3개월 후에 남게 되는 무언가가 있으면 좋겠다고 생각하기도 했고, 스터디 리더님도 취득하신다고 하셔서 스터디 중반 부 부터 뒤늦게 준비하게 되었습니다.  저녁에 공부하고 주말에도 공부하고 지하철에서 태블릿으로 틈틈히 공부하고 5~6주 정도 공부한 것 같습니다.  Specialty 자격증은 다른 난이도인 Associate나 Professional과는 다른 분야를 다루는게 특징입니다.  다른 spec..

[DEVOCEAN OPENLAB] SKT 데보션 오픈랩 2기 10.21

24년 10월 21일 을지로 삼화타워에서 진행한 스터디 후기를 데보션 테크 블로그에 작성하였습니다.https://url.kr/chx9o4 OpenLab 2기 - Cloud 에서 AI 활용하기 4번째 모임(24.10.21) devocean.sk.com

[머신러닝] 회귀(Regression) 모델과 성능지표

1. 회귀 모델  독립 변수와 종속 변수 사이의 관계를 파악하여 특정 변수 값을 예측하는 통계적 기법, 쉽게 말해 과거의 데이터를 기반으로 미래의 값을 예측하는 모델입니다.  주식 가격 예측, 주택 가격 예측 등에 사용됩니다.   회귀 모델은 각 특성이 동일한 중요도와 스케일을 가지고 있다고 가정하여, 모델 학습을 수행합니다. 그래서 전처리(preprocessing)과정에서 minmaxscaling보다는 표준화(standardization)가 더 적합합니다.  이상치 때문인데 minmax는 이상치가 존재할 경우 0~1 사이로 압축되는 과정에서 극단적인 값들이 모델에 큰 영향을 줄 수 있습니다. 표준화는 평균과 표준편차를 사용하기 때문에 이상치가 있더라도 분포를 균일하게 유지할 수 있게 해줍니다.(데이터와..

[머신러닝] 혼동행렬(Confusion Matrix)과 성능지표

머신러닝 분류 모델의 성능을 평가할 때 주로 사용되는 개념인 혼동행렬과 성능지표들에 대해서 알아보겠습니다. 가끔 보는 내용이라 매번 헷갈리기 때문에 이번에 정리해보려 합니다.  1. 혼동행렬(Confusion Matrix)  혼동행렬(Confusion Matrix)는 다음과 같이 생겼습니다.    모델이 객체를 분류할 때의 예측한 결과와 실제 결과를 비교하여 분류 모델이 얼마나 잘 작동하는지 보여줍니다.  *TP(True Positive, 참 긍정): 실제 "긍정(True) 클래스"인 샘플을 모델이 "긍정 클래스"라고 정확히 예측한 수*TN(True Nagetive, 참 부정): 실제 "부정(Negative) 클래스"인 샘플을 모델이 "부정 클래스"라고 정확히 예측한 수*FP(False Positive,..

[AWS] Glue to Redshift 데이터 옮기기

AWS의 managed 서비스인 glue를 이용해 데이터 ETL을 해보는 실습을 진행해보겠습니다.  0. 아키텍처    *버지니아 북부(us-east-1)을 기준으로 진행합니다.  1. Glue와 Redshift  1) Glue  aws glue는 완전 관리형 ETL 작업의 자동화를 제공하며, pyspark 기반의 대규모 데이터 처리에 적합한 서비스입니다.*ETL(Extract, Transform, Load)의 약자로 데이터를 추출하고 변환한 뒤 로드하는 작업을 의미합니다.    Glue의 대표 리소스인 Crawler와 Data Catalog  2) RedShift    Redshift는 AWS에서 제공하는 완전 관리형 데이터 웨어하우스 서비스로, 대규모 데이터를 빠르게 분석할 수 있습니다. 여러 소스의..

[자격증] 정보처리기사 실기 후기

한국산업인력공단에서 진행하는 24년 기사 2회 합격자 발표가 나왔습니다! 제가 응시한 과목은 "정보처리기사"이며 7월 28일에 응시했습니다. 컴공 졸업생들이 많이 취득하는 자격증인데, 이번에 저도 취득하게 되었습니다. 유명한 자격증이라 시중에 많은 인강, 학습법 등이 나와있지만 제가 한 방법을 공유해 드릴까 합니다. 결론부터 말씀드리면 저는 독학했습니다. 혼자 공부했고 물론 문제집은 구매했습니다. 1. 책 제가 구매한 문제집은 "수제비 실기 FINAL 실전 모의고사"이고 예스 24등의 온라인 마켓에서 구매했습니다. 가격은 27,000원이네요 https://www.yes24.com/Product/Goods/125134920 2024 수제비 정보처리기사 실기 FINAL 실전 모의고사 - 예스242023년 정..