Специалисты Пекинской академии искусственного интеллекта создали генеративную нейронную сеть глубокого обучения Wu Dao 2.0. Ее мощность и умение значительно лучше, чем у конкурентов – Open AI GPT-3 и Google Switch Transformers.
Интересно Huawei представила новое поколение наушников FreeBuds 4i: 10 часов работы без подзарядки
Что известно о Wu Dao 2.0.
Мощность нейросетей условно измеряют в количестве параметров обучения – числа факторов, которые нейросеть может использовать в процессе своей работы.
- Нейросеть Open AI GPT-3 использует 175 миллиардов параметров. Это позволяет ей генерировать осмысленные тексты, создавать музыку и программный код.
- Количество параметров Wu Dao 2.0 превышает 1,75 триллиона. Это делает ее в 10 раз мощнее, чем GPT-3.
- С новой китайской нейросетью по количеству параметров может сравниться только Google Switch Transformers с ее 1,6 триллиона параметров. Она способна подобрать пропущенные слова в тексте и формулировать "естественные" ответы на вопросы человека.
Wu Dao 2.0 пишет эссе, стихи и двовірші на традиционном китайском языке, распознает изображения и генерирует их по словесному описанию, имитирует язык, создает кулинарные рецепты, а также предполагает трехмерную структуру белков, подобно AlphaFold.
Для обучения Wu Dao 2.0 ученые использовали почти пять терабайтов изображения и текстов, включая 1,2 терабайта текстов на китайском и английском языках. Разработкой уже заинтересовались 22 компании, включая Xiaomi.
По словам главы Академии, Wu Dao 2.0-это "источник питания для будущего реального искусственного интеллекта, с мегаданными, вычислительной мега мощностью и мегамоделями".