Data science/Machine Learning
Label smoothing: 딥러닝 모델의 일반화와 Calibration 향상을 위한 테크닉
2019. 9. 16. 03:09Label smoothing
본 포스팅에서는 최근 딥러닝 모델의 정확도와 Calibration 향상 최종적으로는 model generalization 에 도움이 된다고 알려진 Label smoothing 에 대해서 살펴보도록 하겠습니다.
Introduction
이미지 분류는 이미지를 n 개의 카테고리로 할당하는 일을 말합니다. 예를 들어, 고양이와 개를 분류하는 이미지 분류문제를 예로 들어보자. 이미지의 크기가 248x400 라면, RGB 각 3개의 채널이 존재하기 때문에 하나의 이미지는 248x400x3 의 3차원 벡터로 표현할 수 있습니다. 이 벡터를 단 하나의 값으로 요약하는 것이 이미지 분류 문제에서 하는 것입니다.
이미지 분류 문제의 예
고양이와 개를 분류하는 위의 예는 이진 분류 (binary classification) 의 예로 볼 수 있습니다. 이미지 분류의 목적 (248x400x3) 의 벡터를 하나의 값으로 요약하는) 을 달성하기 위해서는 학습 데이터 (training data) 가 필요합니다. 즉, 데이터의 갯수가 n 일 때, 학습 데이터의 형태는 이미지 : nx248x400x3 / Label: n 의 벡터로 표현할 수 있습니다. 근데 문제는, 잘못 labeling 된 이미지가 있을 수 있다는 것입니다. 특히, 이미지의 출처가 인터넷인 경우에는 이러한 mislabeling 의 문제가 빈번하게 일어납니다.
예를 들어, 위와 같은 상황에서 딥러닝 모델은 Dog 라고 잘못 labeling 된 고양이의 이미지까지 학습하게 됩니다. 물론 데이터의 수가 적다면 이를 눈으로 일일히 확인하며 수정할 수 있지만, 데이터의 수가 많다면 이는 불가능합니다.
Reference
https://towardsdatascience.com/label-smoothing-making-model-robust-to-incorrect-labels-2fae037ffbd0
https://arxiv.org/pdf/1906.02629.pdf
https://medium.com/@nainaakash012/when-does-label-smoothing-help-89654ec75326
https://rickwierenga.com/blog/fast.ai/FastAI2019-12.html
'Data science > Machine Learning' 카테고리의 다른 글
[논문리뷰] 현대 딥러닝의 Calibration 에 대하여 (3) | 2019.11.14 |
---|---|
예측값을 변수로 활용하는 앙상블 테크닉: Blending (0) | 2019.11.01 |
Label smoothing: 딥러닝 모델의 일반화와 Calibration 향상을 위한 테크닉 (1) | 2019.09.16 |
Cross-entropy 의 이해: 정보이론과의 관계 (12) | 2019.07.14 |
딥러닝을 통한 5년 내 유방암 발생 예측 [응용논문] (0) | 2019.06.16 |
딥러닝에서 클래스 불균형을 다루는 방법 (2) | 2019.06.14 |
심플하면서도 실용적이고 재미있는 아이디어네요.ㅎㅎ 포스팅 잘보고갑니다.