Япония создает свою версию ChatGPT

Япония создает свои собственные версии ChatGPT - искусственного интеллекта (ИИ), разработанного американской компанией OpenAI, который стал всемирной сенсацией.

Японское правительство и крупные технологические компании, такие как NEC, Fujitsu и SoftBank, вкладывают сотни миллионов долларов в создание ИИ-систем, основанных на той же базовой технологии, известной как большие языковые модели (LLM), но использующих японский язык вместо английских переводов.

"Текущие общедоступные LLM, такие, как GPT, отлично работают на английском, но часто оставляют желать лучшего на японском из-за различий в алфавите, ограниченных данных и других факторов", говорит Кейсуке Сакагучи, исследователь Университета Тохоку в Японии, специализирующийся на обработке естественного языка.

Языковые модели больших размеров обычно используют огромные объемы данных из общедоступных источников, чтобы научиться понимать устную и письменную речи. Они обучаются предсказывать следующее слово на основе предыдущих слов в тексте. Большинство текстов, на которых была обучена предыдущая модель ChatGPT, GPT-3, были на английском языке.

Способность ChatGPT создавать разговоры, похожие на разговоры человека, вызывает восторг и беспокойство среди исследователей. Некоторые видят в нем потенциальный инструмент для экономии рабочей силы, а другие беспокоятся, что его могут использовать для создания фальшивых научных статей или данных.

В Японии существует опасение, что ИИ-системы, обученные на наборах данных на других языках, не могут понимать тонкости японского языка и культуры. Структура предложений на японском языке полностью отличается от английского. ChatGPT должен переводить японский запрос на английский, находить ответ, а затем переводить ответ обратно на японский.

В японском языке ChatGPT "иногда создает крайне редкие символы, которые большинство людей никогда не видели, и странные неизвестные слова", говорит Сакагучи.

Для того чтобы LLM была полезной и даже коммерчески ценной, она должна точно отражать культуру, а также язык. Если ChatGPT попросить написать по электронной почте заявление о приеме на работу на японском языке, например, он может пропустить стандартные выражения вежливости и выглядеть как очевидный перевод с английского.

Чтобы оценить, насколько чувствительны LLM к японской культуре, группа исследователей запустила Rakuda - рейтинг, насколько хорошо LLM могут отвечать на открытые вопросы по японским темам. Они использовали инструмент для оценки того, насколько ответы соответствуют традициям и культурным нормам. Лучшая открытая японская LLM занимает четвертое место в Rakuda, в то время как на первом месте стоит GPT-4, что неудивительно, ведь это также судья соревнования.

"Конечно, японские LLM становятся намного лучше, но они далеко позади GPT-4", говорит Сэм Пассалья, физик из Университета Токио, исследующий японские языковые модели. Однако, по его словам, в принципе нет причин, чтобы японская LLM не могла превзойти GPT-4 в будущем. "Это не технически непреодолимо, а просто вопрос ресурсов".

Одной из крупных усилий по созданию японской LLM является использование японского суперкомпьютера Fugaku, одного из самых быстрых в мире, где основное внимание уделяется японскоязычным данным. Поддерживаемый Токийским институтом технологии, Университетом Тохоку, Fujitsu и группой исследовательских центров RIKEN, созданная LLM планируют выпустить в следующем году. Она присоединится к другим общедоступным LLM, предоставляя свой код всем пользователям. По словам Сакагучи, участвующего в проекте, команда надеется предоставить ей по крайней мере 30 миллиардов параметров, которые влияют на ее результат и могут служить мерилом ее размера.

Тем не менее LLM Fugaku может быть опережен еще более крупной моделью. Министерство образования, культуры, спорта, науки и технологий Японии финансирует создание японской ИИ-программы, настроенной на научные нужды, которая будет генерировать научные гипотезы, изучая опубликованные исследования, ускоряя идентификацию объектов для исследования. Модель может начать со 100 миллиардов параметров, что составит чуть более половины размера GPT-3, а ее размер будет увеличиваться со временем.

"Мы надеемся существенно ускорить цикл научных исследований и расширить область поиска", - говорит Макото Тайджи, заместитель директора Центра РИКЕН по динамике биосистем. По проекту LLM может потребоваться по меньшей мере 30 миллиардов иен (204 миллиона долларов США) на разработку и ожидается, что он будет общедоступен в 2031 году.

Другие японские компании уже коммерциализируют свои собственные технологии LLM или планируют это сделать.