배깅

배깅(영어: bagging)은 bootstrap aggregating의 줄임말로 통계적 분류와 회귀 분석에서 사용되는 기계 학습 알고리즘의 안정성과 정확도를 향상시키기 위해 고안된 일종의 앙상블 학습법의 메타 알고리즘이다. 또한 배깅은 분산을 줄이고 과적합(overfitting)을 피하도록 해준다. 결정 트리 학습법이나 랜덤 포레스트에만 적용되는 것이 일반적이기는 하나, 그 외의 다른 방법들과 함께 사용할 수 있다.

설명

크기 n인 훈련 집합(training set) $D$가 주어졌을 때, 배깅은 복원 표본추출(sampling with replacement) 방법과 균등 확률분포를 이용해 각각의 크기가 n′ 인 m개의 새로운 훈련 집합 $D_{i}(i=1,2,\cdots ,m)$을 생성한다. 복원 표본추출 이기 때문에 일부 관측 데이터는 각 $D_{i}$에 반복해서 나타날 수 있다. 이러한 샘플을 부트스트랩(bootstrap) 샘플이라 한다. m개의 모델은 m개의 부트스트랩 샘플들을 이용해 만들어지고 결과를 평균(회귀분석의 경우) 또는 투표(분류의 경우)를 통해 결합한다.

같이 보기

• 부스팅
• 부트스트랩 (통계학)
• 교차타당도
• 랜덤 포레스트
• 예측 분석

각주 및 참고자료

• Breiman, Leo (1996). “Bagging predictors”. 《Machine Learning》 24 (2): 123–140. CiteSeerX 10.1.1.32.9399. doi:10.1007/BF00058655. S2CID 47328136. 
• Alfaro, E., Gámez, M. and García, N. (2012). “adabag: An R package for classification with AdaBoost.M1, AdaBoost-SAMME and Bagging”. 
• Kotsiantis, Sotiris (2014). “Bagging and boosting variants for handling classifications problems: a survey”. 《Knowledge Eng. Review》 29 (1): 78–100. doi:10.1017/S0269888913000313. S2CID 27301684. 
• Boehmke, Bradley; Greenwell, Brandon (2019). 〈Bagging〉. 《Hands-On Machine Learning with R》. Chapman & Hall. 191–202쪽. ISBN 978-1-138-49568-5.