미식가의 개발 일기

앙상블이란?"여러 모델의 예측 결과들을 종합해 정확도를 높이는 기법이다"(단 각 모델 간의 상호 연관성이 낮아야 정확도가 높아진다.) 보팅(Voting)동일한 데이터셋에 서로 다른 종류의 모델의 예측 결과를 합쳐 최종 결과를 도출 하드보팅예측한 클래스중 가장 많이 선택된 클래스가 최종 예측으로 선택 소프트보팅각 모델의 클래스 확률 예측을 평균내어 최종 예측으로 선택   배깅(Bagging)원본 데이터에서 샘플링된 부트스트랩 샘플에 같은 모델 적용한 후 최종 모델 도출분산 감소가 목적, 병렬적 수행(※ 부트스트랩 샘플: 원본 데이터에서 중복을 허용하는 무작위 샘플링을 통해 만들어진 여러 개의 데이터셋) 부스팅(Boosting)이전 모델이 잘못 예측한 데이터를 다음 모델이 중점적으로 학습하도록 가중치 조정성..

앙상블이란?"여러 학습 알고리즘을 결합하여 더 나은 성능을 얻는 머신러닝 기법"이 중에서도 이 포스팅에서는 동일 모델을 반복 학습하는 형태를 살펴볼 것이다.     ※ 앙상블 전체 개념에 대해 학습하고 싶다면 아래 포스팅을 먼저 읽고 오는 것을 추천한다.  [머신러닝] 앙상블앙상블이란?"여러 모델의 예측 결과들을 종합해 정확도를 높이는 기법이다"(단 각 모델 간의 상호 연관성이 낮아야 정확도가 높아진다.) 보팅(Voting)동일한 데이터셋에 서로 다른 종류의 모델의irreplaceablehotgirl.tistory.com 부스팅(Boosting)여러 약한 학습기를 결합하여 강력한 학습기를 만드는 기법  DataSets -> Click Through Rate csv 파일 다운로드 후 실습 진행Gradien..

앙상블이란?"여러 학습 알고리즘을 결합하여 더 나은 성능을 얻는 머신러닝 기법"이 중에서도 이 포스팅에서는 다양한 모델을 결합하는 형태를 살펴볼 것이다.  ※ 이 포스팅은 구현 위주로 작성되어 있으며 앙상블 개념에 대해 학습하고 싶다면 아래 포스팅을 먼저 읽고 오는 것을 추천한다. [머신러닝] 앙상블앙상블이란?"여러 모델의 예측 결과들을 종합해 정확도를 높이는 기법이다"(단 각 모델 간의 상호 연관성이 낮아야 정확도가 높아진다.) 보팅(Voting)동일한 데이터셋에 서로 다른 종류의 모델의irreplaceablehotgirl.tistory.com 보팅(Voting)각 모델이 독립적으로 예측을 수행하고 그 결과를 투표에 의해 종합estimators: (이름, 모델) 형식의 튜플로 정의 voting: 하드 ..

캐글 -> DataSets -> Click Through Rate csv 파일 다운로드 후 실습 진행Gradient Boosting이란?앙상블 학습(여러 개의 모델을 결합해 더 나은 성능을 얻는 기법) 방법의 하나로 예측 정확도를 높이기 위해 여러 개의 약한 모델을 결합하여 강력한 모델을 만드는 방법이다.이번 포스팅에서 다룰  LightGBM과 XGBoost 둘 다 Gradient Boosting 기반 알고리즘이다.  LightGBM소개GBDT(Gradient Boosting Decision Tree)라는 기계 학습 알고리즘 기반전체 데이터셋의 일부만 사용해 각 트리를 훈련시킬 수 있으며 고차원의 희소 특징을 효율적으로 처리 가능 특징시간 효율성과 메모리 효율성 높음정확도 높음결측치 자동 처리범주형 변수..