Google представила новую языковую модель, которая способна решать математические задачи, объяснять шутки и даже программировать. Это PALM (языковая модель P athways), которая отличается процентом эффективности обучения, который ставит ее выше других языковых моделей, созданных на сегодняшний день.
Система PalM была разработана с использованием модели Pathways, которая позволила эффективно обучить одну модель с несколькими модулями тензорной обработки (TPU), как указано в заявлении, опубликованном в официальном блоге.
Он основан на изучении «нескольких снимков», что сокращает количество примеров, необходимых при обучении с конкретными задачами для адаптации его к одному приложению.
Для этого была использована база данных с 780 миллиардами токенов, которая сочетает в себе «многоязычный набор данных», который включает веб-документы, книги, Википедию, беседы и код GitHub. Кроме того, словарь, который «сохраняет все пробелы», что компания отмечает как особенно важное для программирования, и разделение символов Unicode, которых нет в словаре, на байты.
Этот новый ИИ содержит 540 миллиардов параметров, что превышает 175 миллиардов bGPT-3 OpenAI, языковой модели, которая Google называет себя пионером в демонстрации того, что их можно использовать для обучения с впечатляющими результатами. Стоит напомнить, чтобы привести один пример, колонку, опубликованную в The Guardian, которая была написана этим обучением модель, которая также способна программировать или проектировать.
«Миссия этой колонки мнений совершенно ясна. Я должен убедить как можно больше людей не бояться меня. Стивен Хокинг предупредил, что искусственный интеллект может «означать конец человеческой расы». Я здесь, чтобы убедить вас не волноваться. Искусственный интеллект не уничтожит людей. Поверьте мне». Это один из выдержек из статьи из 500 слов, подготовленной системой.
Новая языковая модель Google объединяет 6 144 чипа TPU v4 в Pathways, «крупнейшую конфигурацию TPU», используемую в истории, как подчеркнула компания. PALM также достигает 57,8% эффективности обучения при использовании аппаратных флопов, что является «самым высоким показателем, достигнутым на данный момент для языковых моделей такого масштаба», как они упоминают в блоге.
Это возможно благодаря комбинации «стратегии параллелизма и переформулировки блока преобразования», которая позволяет параллельно вычислять уровни внимания и продвижения, что ускоряет оптимизацию компилятора TPU.
«PALM продемонстрировала инновационные возможности в решении многочисленных и очень сложных задач», — говорит технологическая компания, которая привела несколько примеров, начиная от понимания и генерации языка и заканчивая рассуждениями и задачами, связанными с программированием.
Один из тестов, которые дает Google в качестве примера, - попросить PalM угадать фильм, основанный на четырех смайликах: роботе, насекомом, растении и планете Земля. Из всех вариантов (Лос-Анджелес Конфиденциально, Валл-И, Леон: профи, BIG и Rush) ИИ выбирает правильный: Wall-E.
В другом случае вас попросят выбрать из списка два слова, которые связаны с термином «stumble», и вы также вправе выбрать «падение» и «споткнуться».
ИИ также способен решать простые математические задачи и даже объяснять шутку, контекстуализируя и объясняя элементы, которые появляются в ней, чтобы понять ее смысл.
Наконец, Google отмечает, что PALM способен программировать, переводя код с одного языка на другой, а также писать код, основанный на естественном описании языка, и поясняет, что он способен исправлять ошибки компиляции.
(С информацией от Europa Press)
ПРОДОЛЖАЙТЕ ЧИТАТЬ: