Исследователи Google DeepMind запустили бенчмарк SuperGLUE

Исследователи Facebook совместно с Google DeepMind, Вашингтонским университетом и Нью-Йоркским университетом представили SuperGLUE — серию тестовых задач для измерения производительности искусственного интеллекта, распознающего речь.

SuperGLUE была создана на основе нейронной сети Google BERT. Производительность BERT, как сообщает VentureBeat, превзошла такие модели, как MT-DNN от Microsoft, XLNet от Google и RoBERTa от Facebook, которые обеспечивают высокую производительность — выше среднего базового уровня человека.

Предшественником SuperGLUE стал бенчмарк General Language Understanding Evaluation (GLUE), который был разработан в апреле 2018 года исследователями из Нью-Йоркского университета, Университета Вашингтона и компанией DeepMind. SuperGLUE на порядок сложнее GLUE и будет, по планам разработчиков, стимулировать создание моделей, способных воспринимать более тонкие речевые нюансы.

SuperGLUE будет включать в себя восемь задач для проверки способности системы следовать за мыслью, распознавать причину и следствие и отвечать на вопросы «да» или «нет».

«Современные системы ответов на вопросы ориентированы на пустячные вопросы, например, есть ли у медузы мозг. Эта система идет дальше, требуя от машин проработать подробные ответы на открытые вопросы, такие как «Как медузы функционируют без мозга?» — говорится в сообщении Facebook.

Чтобы помочь исследователям создать надежный ИИ для понимания языка, Нью-Йоркский университет также выпустил обновленную версию Jiant — универсального инструмента для понимания текста. Jiant настроен для работы с HuggingFace PyTorch BERT и OpenAI GPT, а также тестами GLUE и SuperGLUE.

Результаты работы SuperGLUE будут публиковаться на super.gluebenchmark.com.

Источник: habr

Bir cavab yazın

Sistemə daxil olmaq üçün məlumatlarınızı daxil edin və ya ikonlardan birinə tıklayın:

WordPress.com Loqosu

WordPress.com hesabınızdan istifadə edərək şərh edirsinz. Çıxış /  Dəyişdir )

Google foto

Google hesabınızdan istifadə edərək şərh edirsinz. Çıxış /  Dəyişdir )

Twitter rəsmi

Twitter hesabınızdan istifadə edərək şərh edirsinz. Çıxış /  Dəyişdir )

Facebook fotosu

Facebook hesabınızdan istifadə edərək şərh edirsinz. Çıxış /  Dəyişdir )

%s qoşulma