Что такое дистилляция знаний в машинном обучении
Дистилляция знаний — это метод, при котором малую модель обучают повторять поведение большой модели. Большая модель выступает «учителем», а компактная — «учеником». Такой подход применяют, когда нужно сохранить…