ИТ Главная страница Согласно новостям от 5 июня, компания Tencent Hunyuan объявила сегодня, что предложила алгоритм разреженного внимания Stem, который был включен в крупнейшую конференцию по машинному обучению ICML-26.
По словам официальных лиц, алгоритм разреженного внимания Stem пересматривает разреженность на уровне блоков с точки зрения «причинного потока информации» и использует две основные инновации: распад позиции токена (TPD) и измерение с учетом вывода (OAM).Приближение к точности концентрации внимания с использованием всего 25% вычислительной мощности. Поддерживающая библиотека операторов HPC фактически преобразует этот теоретический коэффициент ускорения в комплексно измеренную производительность.
Согласно комплексному решению для ускорения алгоритма Stem × оператора HPC, на уровне алгоритма Stem реализуется с помощью затухания позиции токена (TPD) и измерения с учетом вывода (OAM). Точность практически без потерь при бюджете 25 %.; На уровне оператора оператор HPC Stem+BSA с открытым исходным кодом преобразует редкие преимущества в реальное аппаратное ускорение.Задержка одного слова уменьшена в 3,6 раза в контексте 128 КБ.。
IT Home добавляет соответствующие ссылки следующим образом:
Отказ от ответственности: внешние ссылки перехода (включая, помимо прочего, гиперссылки, QR-коды, пароли и т. д.), содержащиеся в статье, используются для передачи дополнительной информации и экономии времени выбора. Результаты предназначены только для справки. Это утверждение содержится во всех статьях IT House.
