Зображення, пропоновані DALL-E, генеруються нейромережею самостійно. Для цього використовується той же підхід, що і для GPT-3, іншої розробки тієї ж компанії. В даному випадку застосовується пара текст-зображення, представлені як послідовність "токенів" з певного алфавіту, розповідається на офіційному сайті компанії OpenAI.
Цікаво Google випустить оновлену серію камер відеоспостереження Nest Cam
Деталі
Нейромережа може створювати зображення одягу, інтер'єру, меблів, їжі, тварин. Наприклад, вона може створити картинки за запитом "дайкон в балетній пачці, що вигулює собаку" або "крісло у формі авокадо".
Результат запиту "крісло у формі авокадо" / Скріншот сайту OpenAI
DALL-E розуміє складні абстрактні комбінації, може змінювати стиль зображень, а також здатна створювати реалістичні фото і неіснуючі об'єкти.
Нейромережа здатна не тільки генерувати зображення, але і добудовувати будь-яку прямокутну область існуючого зображення.
Нейромережа доповнює картинку / Скріншот сайту OpenAI
Інша розробка компанії, нейромережа CLIP, здатна розпізнавати, що показано на зображенні по всьому опису, а не по тегу з одного слова. Видання Tech Crunch відзначило, що це цікава і потужна технологія, яка незабаром переросте в щось ще більш цікаве.