Цивилизация
Китайские ученые объявили о создании первой в мире крупной языковой модели искусственного интеллекта (ИИ), имитирующей работу человеческого мозга. Эта разработка, получившая название SpikingBrain1.0, призвана потреблять значительно меньше энергии и функционировать без использования чипов Nvidia. Об этом сообщает издание The Independent.
Модель SpikingBrain1.0, разработанная исследователями из Китайской академии наук, воспроизводит принцип работы человеческого мозга, активируя только те нервные клетки, которые необходимы для выполнения задачи.
Широко используемые в настоящее время большие языковые модели, такие как ChatGPT и Llama от Meta (признана в России экстремистской и запрещена), зависят от закона масштабирования, согласно которому производительность системы ИИ улучшается при увеличении объема данных и размера моделей. Эти системы функционируют, применяя технику «внимания», при которой модель ИИ одновременно анализирует все слова в предложении, чтобы определить наиболее важные для предсказания следующего слова.
Например, при обработке длинных запросов, таких как целая книга, этот метод может значительно увеличить энергопотребление и замедлить работу системы. Ученые отмечают, что эти модели сталкиваются с рядом препятствий, включая чрезвычайно высокие затраты на обучение, значительное потребление энергии и сложную развертку. Большинство распространенных моделей ИИ также созданы для работы исключительно на графических процессорах Nvidia, что ограничивает круг их разработчиков.
В целях преодоления этих ограничений китайские исследователи разработали новую модель, которая черпает вдохновение из мозговых механизмов. Вместо того чтобы анализировать весь текст целиком, SpikingBrain1.0 фокусируется только на ближайших словах, подобно тому, как человеческий мозг концентрируется на недавнем контексте в разговоре. Такой подход позволяет достичь баланса между эффективностью и точностью. По данным разработчиков, благодаря этому методу внимания SpikingBrain может работать в 25–100 раз быстрее по сравнению с обычными моделями ИИ.
Новая модель ИИ также функционирует на собственной китайской чиповой платформе MetaX, без использования чипов Nvidia. В отличие от систем, подобных ChatGPT, которые опираются на целую сеть, SpikingBrain избирательно реагирует на входные данные, что снижает его энергопотребление. Это позволяет проводить непрерывное предварительное обучение с использованием менее 2% данных, при этом достигая производительности, сопоставимой с основными моделями с открытым исходным кодом.
Разработка происходит на фоне усиления экспортных ограничений США в отношении технологий в Китай, введенных начиная с первой администрации Дональда Трампа. Эти ограничения прервали доступ азиатского гиганта к инструментам, используемым для производства чипов для серверных компьютеров, искусственного интеллекта и других передовых приложений. Одной из компаний, чьи китайские экспортные поставки особенно пострадали, является калифорнийский производитель чипов Nvidia, мировой лидер в разработке специализированных чипов для технологий ИИ. Вследствие этих ограничений Китай начал активно развивать собственную экосистему ИИ.
Исследование о новой модели было опубликовано на платформе arXiv и ожидает рецензирования.
Ранее выяснилось, что российских школьников научат распознавать дипфейки.