Технологии машинного обучения и искусственного интеллекта на базе нейронных сетей в наши дни являются широко востребованными, на них возлагаются большие надежды в самых различных промышленных и научных отраслях. Очевидно также, что тенденция к распараллеливанию программных алгоритмов и не думает сокращаться, но не всякий софт хорошо масштабируется по мере роста количества вычислительных блоков. Компания IBM это понимает хорошо — она активно работает над оптимизацией программного обеспечения нейронных сетей. Буквально на днях разработчики «голубого гиганта» продемонстрировали новое ПО, которое одновременно ускоряет обучение нейронных сетей и повышает аккуратность самого обучения.
Добиться этого удалось путём программной оптимизации масштабирования при увеличении количества графических ускорителей в системе. Исследовательская группа, возглавляемая Хиллери Хантер (Hillery Hunter), фокусировала свои усилия на уменьшении времени тренировки нейросетей на больших объёмах данных. В таких задачах ждать получения результата можно часами и даже днями, а задачей исследователей было добиться сокращения этого временного промежутка до минут или даже секунд при сохранении или повышении точности. Для этого пришлось активно оптимизировать фирменное программное обеспечение IBM для эффективной работы в системах с большим количеством GPU-ускорителей.
Оптимизации, внесённые в комплекс ПО Distributed Deep Learning (DDL), позволили добиться 95 % эффективности масштабирования в системе с 256 ускорителями NVIDIA Tesla P100. Тестирование было проведено в системе Caffe на задачах распознавания изображений. Полученный результат является новым рекордом. Ранее этот рекорд составлял 89 % и был достигнут командой Facebook при использовании аналогичного аппаратного комплекса. Точность распознавания на базе из 7,5 миллионов изображений достигла 33,8 %, что тоже выше предыдущего достижения, равного 29,8 %. Казалось бы, немного, но предыдущий результат занял у Microsoft 10 дней обучения сети в 2014 году, в то время, как IBM удалось уложиться всего в 7 часов за счёт использования графических ускорителей серии Tesla.
Источник: servernews.ru
