Фахівці Пекінської академії штучного інтелекту створили генеративну нейронну мережу глибокого навчання Wu Dao 2.0. Її потужність та вміння значно кращі, ніж у конкурентів — Open AI GPT-3 і Google Switch Transformers.
Цікаво Huawei представила нове покоління навушників FreeBuds 4i: 10 годин роботи без підзарядки
Що відомо про Wu Dao 2.0.
Потужність нейромереж умовно вимірюють у кількості параметрів навчання – числа факторів, які нейромережа може використовувати в процесі своєї роботи.
- Нейромережа Open AI GPT-3 використовує 175 мільярдів параметрів. Це дозволяє їй генерувати осмислені тексти, створювати музику і програмний код.
- Кількість параметрів Wu Dao 2.0 перевищує 1,75 трильйона. Це робить її у 10 разів потужнішою, ніж GPT-3.
- З новою китайською нейромережею за кількістю параметрів може зрівнятися тільки Google Switch Transformers з її 1,6 трильйона параметрів. Вона здатна підібрати пропущені слова в тексті та формулювати "природні" відповіді на питання людини.
Wu Dao 2.0 пише есе, вірші та двовірші на традиційній китайській мові, розпізнає зображення та генерує їх за словесним описом, імітує мову, створює кулінарні рецепти, а також передбачає тривимірну структуру білків, подібно AlphaFold.
Для навчання Wu Dao 2.0 вчені використали майже п'ять терабайтів зображення і текстів, включаючи 1,2 терабайта текстів китайською та англійською мовами. Розробкою вже зацікавилися 22 компанії, включаючи Xiaomi.
За словами голови академії, Wu Dao 2.0 – це "джерело живлення для майбутнього реального штучного інтелекту, з мегаданими, обчислювальною мегапотужністю та мегамоделями".