В Google раскрыли код библиотеки для создания нейросетей, понимающих естественный язык

SyntaxNet содержит функции, необходимые для обучения моделей понимания естественного языка. Как объясняют в Google, после обучения Parsey McParseface способен определить функциональную роль каждого слова в предложении. Он размечает фразу тегами, обозначающими члены предложения, и определяет синтаксические связи, представляя их в виде дерева. Руководствуясь результатами, система пытается понять смысл предложения.

Как утверждается, при прохождении стандартного теста, состоящего из предложений, собранных в ленте новостей, Parsey McParseface определяет зависимости между словами с точностью более 94%.

Трудность синтаксического разбора усугубляется в связи с неоднозначностью слов и выражений в человеческом языке - предложение длиной в 20-30 слов может иметь десятки тысяч возможных синтаксических структур. Перебор вариантов и выбор верного SyntaxNet осуществляет с помощью нейросети. Проект размещен на сайте GitHub.