Решение Сбера и НИУ ВШЭ позволит машинному обучению работать в десятки раз быстрее

Исследователи Лаборатории искусственного интеллекта Сбербанка при поддержке учёных факультета компьютерных наук ВШЭ смогли увеличить скорость работы градиентного бустинга — одного из самых эффективных алгоритмов для решения задач машинного обучения. Предложенный подход позволит быстрее решать задачи классификации и регрессии машинного обучения. Результаты их работы были представлены на  конференции NeurIPS .

Большинство задач в области анализа данных сводятся к прогнозированию на основе имеющихся данных. Это может быть задача классификации, когда нужно определить принадлежность объекта к определённому классу, или регрессии, когда нужно предсказать числовое значение. В практической работе часто возникают ситуации, где количество классов или размерность регрессии может быть очень большой.

В таких ситуациях исследователи прибегают к градиентному бустингу — продвинутому алгоритму машинного обучения, который решает задачи классификации и регрессии. Он строит предсказание в виде ансамбля слабых моделей. Из нескольких слабых моделей в итоге получается одна, но эффективная.

Глеб Гусев, директор Лаборатории искусственного интеллекта Сбербанка:

Наши исследователи разработали уникальный фреймворк , который позволяет расширить границы применимости градиентного бустинга . Новый алгоритм способен показывать лучшие результаты в целом ряде задач, где ранее применялись только нейросетевые подходы. Предложенный подход строится на сжимании данных перед самым времязатратным этапом — поиском оптимальной структуры дерева. Это решение откроет новые возможности для исследования моделей в области машинного обучения с целью совершенствования технологий с использованием искусственного интеллекта.

Леонид Иосипой , эксперт Центра непрерывного образования факультета компьютерных наук НИУ ВШЭ:

Работа алгоритма градиентного бустинга похожа на гольф: чтобы загнать мяч в  лунĸу , гольфист ударяет клюшкой по мячу, каждый раз исходя из предыдущего удара. Перед новым ударом гольфист смотрит на расстояние между мячом и  лунĸой и стремится его сократить. Бустинг строится примерно так же: каждая новая модель стремится сократить ошибку уже построенного ансамбля моделей.

У градиентного бустинга есть проблема: в классификации с очень большим количеством классов может потребоваться практически бесконечное время на обучение модели.

Решая задачу классификации, алгоритм не просто определяет классы, которые соответствуют каждому объекту, он определяет вероятность принадлежности каждого объекта к каждому возможному классу. Таким образом, чем больше классов, на которые делятся объекты, тем больше результатов выдаёт алгоритм. Как следствие, растёт вычислительная сложность этого алгоритма.