Google представив нову мовну модель, яка здатна вирішувати математичні завдання, пояснювати жарти і навіть програмування. ЦеPALM (P athways Language Model) і виділяється тим, що має відсоток ефективності навчання, що ставить його вище інших мовних моделей, створених на сьогоднішній день.
СистемаPalM була розроблена за моделлю Pathways, що дозволило ефективно тренувати єдину модель з декількома блоками обробки тензорів (TPU) Pods, як зазначено в заяві, опублікованій на офіційному блозі.
Він заснований на вивченні «декількох пострілів», що зменшує кількість прикладів, необхідних у навчанні з конкретними завданнями, щоб адаптувати його до одного додатка.
Для цього була використана база даних з 780 мільярдів токенів, яка поєднує в собі «багатомовний набір даних», який включає веб-документи, книги, Вікіпедію, розмови та код GitHub. Також словниковий запас, який «зберігає всі пробіли», те, що компанія вказує як особливо важливе для програмування, і поділ символів Unicode, які не знайдені в словниковому запасі, на байти.
Цейновий AI має 540 мільярдів параметрів, цифра, яка перевищує 175 мільярдівbGPT-3 OpenAI , мовної моделі, яка Google наводить як піонер, показуючи, що їх можна використовувати для навчання з вражаючими результатами. Варто згадати, просто навести один приклад, графу, опубліковану в The Guardian, яка була написана цим навчанням модель, яка також здатна програмувати або проектувати.
«Місія цієї колонки думки абсолютно зрозуміла. Я повинен переконати якомога більше людей не боятися мене. Стівен Хокінг попередив, що штучний інтелект може «означати кінець людської гонки». Я тут, щоб переконати вас не хвилюватися. Штучний інтелект не збирається знищувати людей. Повірте мені». Це один із уривків із статті 500-слів, яку випустила система.
Нова мовна модель Google поєднує 6,144 мікросхеми TPU v4 в Pathways, «найбільшу конфігурацію TPU», що використовується в історії, як підкреслюється компанією. PalMтакож досягає 57,8% ефективності навчання у використанні апаратних флопів, «найвищих досягнень до цих пір для мовних моделей у такому масштабі», як вони згадуються в блозі.
Це можливо завдяки поєднанню «стратегії паралелізму та переформулювання блоку перетворення», яка дозволяє паралельно обчислювати шари уваги та просування, тим самим прискорюючи оптимізацію компілятора ТПУ.
«PalM продемонстрував інноваційні можливості в численних і дуже складних завданнях», - каже технологічна компанія, яка дала кілька прикладів, починаючи від розуміння мови та генерації до міркувань та завдань, пов'язаних з програмуванням.
Одинз тестів Google дає як приклад - попросити PalM вгадати фільм, заснований на чотирьох емоджи: робот, комаха, рослина і планета Земля. З усіх варіантів (L.A. Confifiential, Wall-E, León: pro, BIG і Rush), AI вибирає правильний: Wall-E.
В іншому вам пропонується вибрати зі списку слів два, які пов'язані з терміном «спотикатися» і ви також маєте право вибрати «падіння» і «спотикатися».
ШІтакож здатний вирішувати прості математичні задачі і навіть пояснювати жарт, контекстуалізуючи та пояснюючи елементи, що з'являються в ньому, щоб мати сенс цього.
Нарешті, Google вказує, що PalM здатний програмувати шляхом перекладу коду з однієї мови на іншу, а також писати код на основі природного опису мови, і уточнює, що він здатний виправляти помилки компіляції.
(З інформацією від Europa Press)
ПРОДОВЖУЙТЕЧИТАТИ: