Как ученые Стэнфорда создали аналог ChatGPT за 600 долларов, и при чем здесь альпака
Поделиться
Не так давно мир всколыхнула языковая модель на основе искусственного интеллекта ChatGPT. Она привлекла внимание своими широкими возможностями: написание кода, создание текстов, перевод и т.д. и все это в считанные секунды. Теперь собственные аналоги уже имеют Google, Apple, Meta, Baidu и Amazon.
А на днях исследовательская группа Стэнфордского университета разработала на Large Language Model Meta AI LLaMA искусственный интеллект Alpaca и протестировала его на базовой языковой модели ChatGPT. Результаты поразили: Alpaca прошел 90 тестов, GPT — 89. Об этом рассказал New Atlas.
Как утверждают специалисты, Alpaca во многом похож на ChatGPT, но он построен на языковой модели с открытым кодом и значительно дешевле в создании.
Аналог ChatGPT всего за 600 долларов— как это возможно
Как выяснилось, чтобы построить аналог ChatGPT, не требуется ресурсов технологического гиганта — достаточно определенной базы знаний и бюджета 600 долларов (чуть больше 20 тыс. грн). Это на своем опыте подтвердили ученые Стэнфордского университета.
Они взяли за основу разработанную Meta открытую языковую модель LLaMA 7B наиболее доступную из линейки LlaMA, которая имеет ограниченные возможности и в большинстве задач значительно отстает от ChatGPT.
Отмечается, что основные материальные затраты и главное конкурентное преимущество моделей OpenAI GPT состоят в огромном количестве времени и человеческих ресурсах, которые разработчик вложил в обучение модели: одно дело прочитать несколько миллиардов книг и совсем другое — усвоить большое количество пар вопросов и ответов, которые готовят ИИ к предстоящей работе.
Запустив модель LLaMA 7B, ученые Стэнфорда дали GPT образец из созданных человеком пар ответов и приказали ему генерировать на этот образец новые данные, выдавая по 20 пар за итерацию. Автоматизировав задачи через открытые OpenAI средства OpenAI, они за короткое время получили в распоряжение 52 тыс. образцов диалога, подходящих для обучения LlaMA, что обошлось ученым менее 500 долларов.
Дальше был этап тонкой настройки LlaMA — для этого понадобились ресурсы восьми компьютеров с 80-Гбайт ускорителями NVIDIA A100 на три часа. В облачной инфраструктуре эта услуга стоила менее 100 долларов.
После окончания учебы исследователи протестировали свою модель, которой дали имя Alpaca, и сравнили ее с ChatGPT в таких задачах, как написание электронной почты, публикаций для соцсетей и помощь в работе. Alpaca успешно справилась с 90 тестами, когда сам ChatGPT прошел лишь 89 тестов.
"Мы были удивлены результатом, учитывая небольшой размер модели и скромный объем данных для выполнения инструкций. Помимо использования этого набора статических оценок, мы также тестировали Alpaca в интерактивном режиме и обнаружили, что она часто ведет себя как GPT-3.5 на различных входных данных. Мы признаем, что наша оценка может быть ограничена в масштабе и разнообразии", — сообщили разработчики.
Ученые также заявили, что могли бы сделать это дешевле, стараясь оптимизировать процесс. Особенно учитывая, что теперь есть доступ к гораздо более мощному GPT-4, а также к более мощным моделям LLaMA, которые можно использовать как основу.
Кстати, этот доступ мог бы повторить любой подготовленный специалист при наличии доступа к GPT-4 и более мощным моделям LlaMA.
Аналог ChatGPT на GitHub
Команда Стэнфордского университета опубликовала на Github 52 000 вопросов, использованных в этом исследовании, вместе с кодом для генерации дополнительных вопросов и кодом, который они использовали для настройки модели LLaMA.
Стэнфордская Alpaca — в чем существенная проблема
Авторы проекта предупредили, что еще не настроили модель Alpaca, чтобы она была безопасной, и просит всех устанавливающих ее отчитываться об обнаруженных проблемах.
Напомним, мы писали, что во вторник, 20 марта, Google начал публичный выпуск своего чата с искусственным интеллектом под названием Bard. Компания ищет пользователей и отзывы, чтобы завоевать позиции на Microsoft Corp в стремительной гонке технологий искусственного интеллекта.
Также мы рассказывали, что умеет новая версия нейросети GPT-4, чем она лучше предыдущей, для кого она доступна и как ее протестировать.
Ранее мы рассказывали о 20 профессиях, которые GPT-4 собирается "украсть" у людей в ближайшем будущем.
Читайте Новини.LIVE!
