Новый чат-бот Vicuna-13B со стоимостью обучения $300 превосходит в 90% ChatGPT, Google Bard, LLaMA и Stanford Alpaca.
Команда ученых из Университета Калифорнии в Беркли, Карнеги-Меллон, Стэнфорда и Университета Калифорнии в Сан-Диего создала Vicuna-13B с использованием LLaMA, основываясь на разговорах пользователей, собранных из ShareGPT.
Онлайн-демо — https://chat.lmsys.org/
Официальный пресс-релиз https://vicuna.lmsys.org/
Предварительная оценка, в ходе которой GPT-4 выступал судьей, показала, что качество работы Vicuna-13B превышает 90%* качества таких известных чат-ботов, как OpenAI . Кроме того, новая разработка превосходит другие модели, такие как LLaMA и Stanford Alpaca, в более чем 90%* случаев.
Одним из главных преимуществ Vicuna-13B является его доступность: стоимость обучения составляет всего около $300. Код обучения и предоставления услуг, а также онлайн-демо, доступны для широкой публики и могут быть использованы в некоммерческих целях.
С учетом высокой эффективности и доступности Vicuna-13B, можно с уверенностью сказать, что команда из ведущих университетов совершила прорыв в области искусственного интеллекта, создав чат-бот, который откроет новые возможности для пользователей и разработчиков по всему миру.
Вот что пишут разработчики:
Ограничения
Мы заметили, что, как и другие большие языковые модели, Vicuna имеет определенные ограничения. Например, она не очень хороша в задачах, связанных с рассуждениями или математикой, и может иметь сложности с точным определением себя или гарантированием фактической точности своих результатов. Кроме того, она недостаточно оптимизирована для обеспечения безопасности или смягчения потенциальной токсичности или предвзятости. Чтобы устранить проблемы безопасности, мы используем API модерации OpenAI для фильтрации неподобающих запросов пользователей в нашей онлайн-демонстрации. Тем не менее, мы ожидаем, что Vicuna может стать открытой отправной точкой для будущих исследований, направленных на преодоление этих ограничений.
Обучение
Vicuna создана путем точной настройки базовой модели LLaMA с использованием примерно 70 тысяч разговоров пользователей, собранных с ShareGPT.com с помощью общедоступных API. Для обеспечения качества данных мы конвертируем HTML обратно в разметку и фильтруем некоторые неподходящие или низкокачественные примеры. Кроме того, мы разделяем длинные разговоры на меньшие сегменты, которые подходят для максимальной длины контекста модели.
Наш рецепт обучения основан на Alpaca из Стэнфорда с некоторыми улучшениями:
- Оптимизация памяти: Чтобы обеспечить понимание длинного контекста Vicuna, мы увеличиваем максимальную длину контекста с 512 в альпаке до 2048, что значительно увеличивает требования к памяти GPU. Мы справляемся с давлением на память, используя градиентный контроль и внимание к мгновенному контексту.
- Многокруговые разговоры: Мы корректируем потери при обучении, учитывая многокруговые разговоры и вычисляя потери при точной настройке только на основе вывода чат-бота.
- Снижение стоимости с помощью Spot Instance: На 40 раз больше набор данных и на 4 раза больше длина последовательности для обучения представляют собой значительную проблему в расходах на обучение. Мы используем SkyPilot managed spot для снижения стоимости, используя более дешевые места с автоматическим восстановлением при отмене и автоматическим переключением зон. Это решение сокращает затраты на обучение модели 7B с $500 до около $140 и модели 13B с около $1К до $300.