На данный момент самые мощные чат-боты могут обрабатывать до 75 000 слов запросов, но увеличение входных данных ограничивается памятью графических процессоров, которые обучают и запускают модели ИИ. В области ИИ эти входные данные измеряются как «токены» и «окна контекста». Токен - это единица, которая может представлять собой слово, часть слова, число и тому подобное, а окно контекста - это пространство, в которое вы вводите вопросы, текст или другие данные для чат-бота. Ученый Университета Калифорнии в Беркли и фриланс-исследователь Google DeepMind Хао Лиу предлагает способ увеличения этого числа до миллионов. Новый подход формирует кольцо из графических процессоров, которые передают информацию следующему графическому процессору, одновременно получая похожие блоки от другого близкого графического процессора. Это эффективно устраняет ограничения по памяти, наложенные на отдельные устройства. Лиу считает, что в теории в будущем можно добавлять в контекстные окна множество книг и даже фильмов, и искусственные интеллектуальные модели будут анализировать их и создавать последовательные ответы. Эти открытия поднимают важный вопрос: если можно делать больше с меньшим количеством графических процессоров, не означает ли это уменьшение спроса на ИИ-чипы Nvidia? Лиу утверждает, что нет. Вместо этого разработчики и технологические компании будут предпринимать более амбициозные попытки с использованием новой технологии. В то же время использование меньшего количества графических процессоров может смягчить некоторое воздействие на окружающую среду и снизить энергопотребление в области ИИ, которое недавно оценивалось в объеме энергии, потребляемой Швецией или Нидерландами к 2027 году. Источник: Insider