Компания «Яндекс» начала использовать новый поисковый метод «Палех», основанный на искусственных нейронных сетях.
Уполномоченные «Яндекса» подчеркнули, что за сутки обрабатывается около 280 млн. запросов, не менее 100 из которых являются необычайными и редкими. По утверждению уполномоченных компании, ежедневно поисковик получает около 100 млн таковых запросов — это практически треть всех запросов «Яндекса».
График распределения запросов компания представляет в виде птицы, клюв которой — это небольшой список очень часто вводимых обычных запросов, таковых как «вконтакте», «рефераты», «погода».
Благодаря применению алгоритма «Палех» поисковая машина сумеет находить связь между заголовком и контентом страницы, даже если у них не будет общих главных слов. В итоге, общая тема запроса и сайта будет установлена, даже если они не имеют общих главных слов.
Так, если кто-то задаст запрос «фильм про человека, выращивающего картошку на другой планете», то «Яндекс» поймет, что пользователь ищет фильм «Марсианин», даже если на странице с описанием фильма не будет слов «картошка» и «планета». «Такой хвост есть у фантастической Жар-птицы, которая часто появляется на палехской миниатюре».
Сравнение работы «Палеха» и обычного алгоритма показало, что нейросеть значительно лучше справляется с задачей поиска. О том, как создатели поиска учили нейронную сеть обрабатывать редкие и уникальные запросы, можно узнать в статье на «Хабрахабре». Потенциально он может сопоставлять запрос с полным текстовым содержимым страницы, а кроме этого составлять профиль интернет-пользователя исходя из его действий.
Нейронные сети тренируют с помощью положительных и негативных примеров. В двумерном пространстве это выглядит вот так, однако в «Яндексе» применяется многомерное пространство. Чем ближе семантический вектор запроса к семантическому вектору страницы, тем лучше страница соответствует запросу. Сейчас они используются, чтобы поисковик мог выдать превосходный результат для уникальных запросов. Таким путем «Яндекс» понимает, что в запросе пользователя и на веб-странице идет речь об одном и том же.
