Раздел Технологии выходит при поддержке Favbet Tech
Исследователи направления Computer Science открыли новый способ умножать большие матрицы быстрее, устранив ранее неизвестную неэффективность, что привело к наибольшему улучшению эффективности умножения матриц за последние десять лет. Это может в конце концов ускорить работу моделей искусственного интеллекта, которые в значительной степени полагаются на умножение матриц.
Умножение двух прямоугольных числовых массивов, известное как матричное умножение, играет решающую роль в современных моделях ИИ, включая распознавание речи и изображений, его используют чат-боты от всех основных разработчиков, генераторы изображений с искусственным интеллектом и модели синтеза видео. Помимо ИИ, матричная математика важна для современных вычислений (вспомним обработку изображений и сжатие данных), что даже незначительное повышение эффективности может привести к экономии вычислений и электроэнергии, сообщает ArsTechnica.
Графические процессоры (GPU) выполняют задачи умножения матриц благодаря способности обрабатывать много вычислений одновременно. Они разбивают большие матричные задачи на более мелкие сегменты и решают их одновременно с помощью алгоритма.
Совершенствование этого алгоритма стало ключом к прорыву в эффективности умножения матриц в течение последнего века — еще до того, как появились компьютеры. В октябре 2022 года была изобретена новая методика модель ИИ Google DeepMind под названием AlphaTensor, сосредоточившись на практических алгоритмических усовершенствованиях для конкретных размеров матриц, таких как матрицы 4х4.
В противоположность этому, новое исследование группы ученых из Университета Цинхуа, Калифорнийского университета в Беркли и Массачусетского технологического института, направленное на теоретические усовершенствования с целью снижения показателя сложности ω для повышения эффективности для всех размеров матриц. Вместо того чтобы искать немедленные практические решения, такие как AlphaTensor, новая методика направлена на фундаментальные улучшения, которые могут изменить эффективность умножения матриц в более общем масштабе.
Традиционный метод умножения двух матриц n на n требует n³ отдельных умножений. Однако новая методика, которая совершенствует «лазерный метод», представленный Фолькером Штрассеном в 1986 году, уменьшила верхний предел экспоненты (обозначается как вышеупомянутый ω), приблизив его к идеальному значению 2, которое представляет теоретически минимальное количество необходимых операций.
Swift с нуля. Почніть самостійно писати код на Swift та створювати мобільні додатки під iOS/iPadOS за 2,5 місяці. Отримайте скіл інтеграції зі сторонніми сервісами! Знижка у розмірі 10% доступна при використанні промокоду "ITC". Інформація про курс
Традиционный способ умножения двух сеток, заполненных числами, может потребовать выполнения вычислений до 27 раз для сетки 3х3. Но с этими усовершенствованиями процесс ускоряется за счет значительного сокращения необходимых шагов умножения. Это позволяет свести к минимуму количество операций до чуть более чем вдвое большего размера одной из сторон сетки в квадрате, скорректированного на коэффициент 2.371552. Это очень важно, потому что это почти достигает оптимальной эффективности удвоения размеров квадрата, что является самой быстрой скоростью, на которую мы когда-либо могли надеяться.
Прорыв 2023 года стал возможен благодаря обнаружению «скрытых потерь» в лазерном методе, когда полезные блоки данных были непреднамеренно отброшены. В контексте умножения матриц, «блоки» означают меньшие сегменты, на которые большая матрица делится для облегчения обработки, а «маркировка блоков» — это техника категоризации этих сегментов, чтобы определить, какие из них сохранить, а какие отбросить, оптимизируя процесс умножения для скорости и эффективности. Модифицировав способ маркировки блоков, исследователи смогли уменьшить количество отходов и значительно повысить эффективность.
Какое же это имеет практическое применение? Для моделей ИИ уменьшение количества вычислительных шагов в матричной математике может привести к сокращению времени обучения и более эффективному выполнению задач. Это позволит быстрее обучать более сложные модели, что потенциально приведет к совершенствованию возможностей ИИ и разработке более сложных приложений с искусственным интеллектом. Кроме того, повышение эффективности может сделать ИИ-технологии более доступными благодаря снижению вычислительной мощности и потребления энергии, необходимых для выполнения этих задач.
Точное влияние на скорость работы моделей ИИ зависит от конкретной архитектуры системы и от того, насколько сильно ее задачи полагаются на умножение матриц. Повышение алгоритмической эффективности часто нужно сочетать с оптимизацией аппаратного обеспечения, чтобы полностью реализовать потенциальный прирост скорости. Но все же, со временем, когда совершенствование алгоритмических методов накапливается, ИИ будет становиться быстрее.
Раздел Технологии выходит при поддержке Favbet Tech
Favbet Tech – это IT-компания со 100% украинской ДНК, которая создает совершенные сервисы для iGaming и Betting с использованием передовых технологий и предоставляет доступ к ним. Favbet Tech разрабатывает инновационное программное обеспечение через сложную многокомпонентную платформу, способную выдерживать огромные нагрузки и создавать уникальный опыт для игроков. IT-компания входит в группу компаний FAVBET.
Продолжается конкурс авторов ИТС. Напиши статью о развитии игр, гейминг и игровые девайсы и выигрывай профессиональный игровой руль Logitech G923 Racing Wheel, или одну из низкопрофильных игровых клавиатур Logitech G815 LIGHTSYNC RGB Mechanical Gaming Keyboard!
