Яндекс научился искать страницы по смыслу запроса. И спросил космонавтов про слезы

Компания «Яндекс» представила новую версию поиcка на основе алгоритма «Королёв», который с помощью нейросетей сопоставляет смысл запроса и страниц сайтов. Презентация прошла в Московском планетарии.

Для обработки поисковых запросов в современном мире нередко используются технологии машинного обучения — дело в том, что значительную часть запросов (до 40 процентов) могут составлять уникальные запросы, которые также называют «длинным хвостом». Для оптимизации работы поисковика с такими запросами «Яндекс» еще в прошлом году запустил алгоритм «Палех», в основе которого лежит использование нейронных сетей. «Палех» стал лучше находить страницы, которые соответствали не только ключевым словам, но совпадали по смыслу заголовка страницы со смыслом запроса.

Новый алгоритм получил название «Королёв» в честь Сергея Павловича Королёва. По словам представителей «Яндекса», такое название выбрано из-за технологической значимости внедрения нового алгоритма для поисковика компании.

Ключевые отличия нового алгоритма «Королёв» заключаются в следующем. Во-первых, алгоритм теперь оценивает всю страницу целиком, а не только заголовок, как раньше. Во-вторых, условный «поисковый документ» теперь состоит не только из пары запрос-страница, но и включает в себя информацию о предыдущих поисковых запросах, которые ранее привели пользователей на эту страницу. В-третьих, «Палех» на финальном (самом точном) этапе ранжирования мог выдавать 150 документов по одному запросу, в то время как «Королёв» теперь выдает 200 тысяч.

Чтобы оценить совпадение по смыслу запроса и страницы требовалась большая обучающая выборка, которую специалисты «Яндекса» составили из обезличенных данных о поисковых запросах пользователей. Если пользователь после запроса и перехода на страницу из поиска проводил там какое-то время, а не закрывал ее сразу, то такая страница считалась подходящей по смыслу к запросу и пример попадал в обучающую выборку. В качестве негативных примеров для выборки использовались пары случайно сопоставленных текстов.

Благодаря такому подходу в обучении алгоритм научился понимать сложные запросы. Например, при запросе «ленивая кошка из монголии» поисковик понимает, что речь идет о мануле. Для оценки эффективности и улучшения нового поискового алгоритма компания использует уже не собственных специалистов-асессоров, а пользователей краудсорсинговой платформы Яндекс.Толока, о развитии которой представители «Яндекса» рассказали отдельно.

Также в рамках презентации «Яндекс» организовал телемост с Международной космической станцией, в рамках которого космонавты рассказали об экспериментах на орбите, пошутили, что «скорость интернета не космическая» и рассказали, что плакать в космосе не очень удобно - дело в том, что слезы соберутся большими пузырями в глазах.

Кроме поиска «Яндекс» работает над технологиями машинного обучения и в других сферах. Этим летом, например, компания представила открытый алгоритм машинного обучения с учителем CatBoost.

Свежее

Гляциоизостазия повлияла на размытие Колумбийского плато в плейстоцене Введение вакцины AstraZeneca удвоило частоту тромбозов вен мозга «Хаббл» измерил температуру ночной стратосферы ультрагорячего юпитера В мозге человека нашли реагирующие на пение нейроны ОДК изготовила узлы для демонстратора двигателя SSJ-NEW

Нашли опечатку? Выделите фрагмент и нажмите Ctrl+Enter.

Читайте также Эмиратцы показали рой беспилотников-камикадзе Французы запустят в производство мотор с «автоматом» для электровелосипедов Введение вакцины AstraZeneca удвоило частоту тромбозов вен мозга Игра на понижение

Когда нагревание и альтернативные процессы оказываются лучше горения

Гравитационное красное смещение уловили на миллиметровой высоте Физики разобрались с динамикой коллективного взаимодействия атомов с одним фотоном Физики ограничили массу электронного антинейтрино Смешанный оксид кобальта и марганца оказался устойчивым катализатором электролиза воды Метаматериалы помогут решать уравнения со скоростью света Нейросеть DeepMind научилась удерживать плазму в токамаке Физики научились закручивать звук Игра на понижение Физики обнаружили притяжение между биомолекулами на расстоянии ста нанометров Интерферометр VLTI подтвердил единую модель активных галактических ядер Самое сложное

Использование всех текстовых материалов без изменений в некоммерческих целях разрешается со ссылкой на N + 1. Все аудиовизуальные произведения являются собственностью своих авторов и правообладателей и используются только в образовательных и информационных целях. Если вы являетесь собственником того или иного произведения и не согласны с его размещением на нашем сайте, пожалуйста, напишите на kirill@nplus1.ru

Материалы, опубликованные в разделе «Блоги», отражают позиции их авторов, которые могут не совпадать с мнением редакции.

📎📎📎📎📎📎📎📎📎📎