Исследователи Google DeepMind запустили бенчмарк SuperGLUE

Исследователи Facebook совместно с Google DeepMind, Вашингтонским университетом и Нью-Йоркским университетом представили SuperGLUE — серию тестовых задач для измерения производительности искусственного интеллекта, распознающего речь.

SuperGLUE была создана на основе нейронной сети Google BERT. Производительность BERT, как сообщает VentureBeat, превзошла такие модели, как MT-DNN от Microsoft, XLNet от Google и RoBERTa от Facebook, которые обеспечивают высокую производительность — выше среднего базового уровня человека.

Предшественником SuperGLUE стал бенчмарк General Language Understanding Evaluation (GLUE), который был разработан в апреле 2018 года исследователями из Нью-Йоркского университета, Университета Вашингтона и компанией DeepMind. SuperGLUE на порядок сложнее GLUE и будет, по планам разработчиков, стимулировать создание моделей, способных воспринимать более тонкие речевые нюансы.

SuperGLUE будет включать в себя восемь задач для проверки способности системы следовать за мыслью, распознавать причину и следствие и отвечать на вопросы «да» или «нет».

«Современные системы ответов на вопросы ориентированы на пустячные вопросы, например, есть ли у медузы мозг. Эта система идет дальше, требуя от машин проработать подробные ответы на открытые вопросы, такие как «Как медузы функционируют без мозга?» — говорится в сообщении Facebook.

Чтобы помочь исследователям создать надежный ИИ для понимания языка, Нью-Йоркский университет также выпустил обновленную версию Jiant — универсального инструмента для понимания текста. Jiant настроен для работы с HuggingFace PyTorch BERT и OpenAI GPT, а также тестами GLUE и SuperGLUE.

Результаты работы SuperGLUE будут публиковаться на super.gluebenchmark.com.

Источник: habr

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход /  Изменить )

Google photo

Для комментария используется ваша учётная запись Google. Выход /  Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход /  Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход /  Изменить )

Connecting to %s