В блоге Microsoft появился пост, в котором компания Microsoft заявила, что ее алгоритм понимания естественного языка (Natural Language Understanding, NLU) DeBERTa превзошел человеческие возможности в одном из самых сложных тестов для подобных систем SuperGLUE.
Тест SuperGLUE включает в себя ряд задач, которые разработаны для оценки способности ИИ-моделей распознавать и понимать естественный язык, например, дать правильный ответ на вопрос на базе прочитанного абзаца, определить, правильно ли используется многозначное слово в определенном контексте и т.д. Тест был разработан группой исследователей в 2019 году. Когда был представлен SuperGLUE, разрыв между самой эффективной моделью и показателями человека в таблице лидеров составлял почти 20 баллов.
Так, если в среднем человек способен набрать 89,8 баллов в данном тестировании, то DeBERTa удалось достичь показателя в 90,3 балла. Для этого разработчикам алгоритма пришлось сильно переработать архитектуру системы. Теперь она состоит из 48 слоев и имеет 1,5 млрд различных параметра.
Представители Microsoft уже заявили, что планируют сделать исходный код DeBERTa открытым. Кроме того, DeBERTa будет интегрирована в следующую версию Тьюринговой модели Microsoft Turing (Turing NLRv4) и будет использована в таких продуктах, как Bing, Office, Dynamics и Azure Cognitive Services. Это позволит улучшить, взаимодействие с чат-ботами, предоставление рекомендаций и ответов на вопросы, поиск, автоматизацию поддержки клиентов, создание контента и решение многих других задач на пользу сотен миллионов пользователей.
Алгоритм планируют использовать в большинстве продуктов компании. В отличии от машин, люди хорошо умеют использовать знания, ранее полученные при выполнении различных задач, для решения новых – это называется композиционным обобщением (англ. compositional generalization). Поэтому, несмотря на многообещающие результаты DeBERTa в тесте, компания продолжит исследования, для того чтобы развить у алгоритма этот навык.