Meta розробила модель ШІ, що сприймає інформацію як людина

Meta розробила модель ШІ, що сприймає інформацію як людина
Рука робота та рука людини, що тягнуться одна до одної. Фото: freepik.com

Компанія Meta розробила нову модель штучного інтелекту ImageBind, яка може імітувати людське сприйняття. Модель здатна пов'язувати текст, зображення, відео, аудіо, 3D-вимірювання, дані про температуру й рух. 

Про це повідомляє Portaltele.

Читайте також:

ШІ, що навчається як людина

Так, ImageBind пропонує комплексне розуміння, яке поєднує різні аспекти інформації. Наприклад, система штучного інтелекту Make-A-Scene, призначена перетворювати текст на зображення, від Meta може використовувати ImageBind для створення зображень на основі аудіо, наприклад, тропічні ліси чи галасливі ринки. Крім того, ImageBind краще розуміє зміст, модерацію та креативний дизайн, які може революціонізувати завдяки поєднанню 3D-сенсорів та інерційного вимірювального пристрою (IMU).

Таким чином, ImageBind демонструє потенціал цілісної інтерпретації вмісту, дозволяючи різним модальностям взаємодіяти та встановлювати значущі зв’язки без попереднього спільного навчання. Крім того, під час процесу ImageBind  навчається й вдосконалюється самостійно, подібно до того, як людина пізнає світ через зображення й звуки.

Чим може бути корисний ImageBind

Завдяки самостійному навчанню та використанню мінімальних навчальних прикладів, модель розкриває нові можливості у сфері обробки даних. Особливо варто відзначити її здатність зв'язувати аудіо та текст, а також прогнозувати глибину на основі зображень, перевершуючи моделі, що були навчені виключно на цих типах даних.

ImageBind спрощує процес візуального проєктування у віртуальних іграх та дозволяє створювати анімації на основі зображень і звукових файлів. Також він може полегшити сприйняття світу людьми з фізичними вадами шляхом створення мультимедійних описів у реальному часі.

Це свідчить про високу ефективність та універсальність моделі ImageBind, здатної успішно працювати з різноманітними типами даних та досягати надзвичайно точних результатів в різних завданнях обробки інформації.

ImageBind створить зображення на основі картинки та звуку. Фото: imagebind.metademolab.com

Нагадаємо, що штучний інтелект, зокрема ChatGPT, не може похвастатися високою моральністю чи безпечними порадами, адже часом може давати досить жорстокі відповіді. Тому група дослідників розробила ШІ на основі правил безпеки та прав людини.