Блог Яндекса

Национальный корпус русского языка — крупнейшее электронное собрание текстов, включающее более 500 млн словоупотреблений. Это один из основных источников, к которому обращаются лингвисты, исследующие русский язык. Проект был запущен 9 лет назад, в апреле 2004 года. Корпус пополняется и поддерживается силами многих организаций, среди которых Институт русского языка имени В. В. Виноградова РАН, Институт проблем передачи информации РАН, МГУ и многие другие. С самого начала Яндекс разрабатывал адаптированную для НКРЯ версию поисковой машины для поиска текстов с разного рода разметкой.

8 сентября во всем мире отмечается день грамотности. Поисковая машина – не случайный гость на празднике грамотности. Машина вместе с человеком участвует в сложном процессе поиска информации: человек набирает запрос – машина подсказывает, человек делает в запросе ошибки – машина исправляет, человек задает запрос – машина отвечает. Для быстрого и эффективного получения результатов поиска грамотность нужна обоим участникам этого «разделения труда». Сложно сказать, как быстро и в каком направлении меняется грамотность пользовательской аудитории – для этого надо проводить специальное исследование. Оценить динамику исправления поисковых запросов намного проще – измерение основных показателей соответствующих программ является штатной процедурой контроля качества поисковых систем. Требования, метрики и оценки «грамотности» у машин и у людей, конечно, разные. Машине не нужно писать сочинение, сдавать единый государственный экзамен и поступать в институт. Главное требование для поисковой машины – исправлять ошибки в запросах. И метрики здесь – стандартные для ИТ-отрасли полнота и точность, а оценка – кликабельность сообщений об ошибке («Быть может, вы искали…»). Лексика и синтаксис, с которыми имеет дело машина, тоже сильно отличаются от классического литературного языка. Помимо цитат из Пушкина и Мандельштама приходится исправлять короткие и хлесткие запросы вроде «кто тебя создал токую», «скчать мп3 безплатно» и «коды на gta vise citi». Поисковой системе никогда не придется исправлять многие слова и фразы из «Анны Карениной» и «Братьев Карамазовых», но просто необходимо знать, как правильно пишутся «Дэниэл Рэдклифф» и «sony ericsson». Кроме этого, надо уметь восстанавливать текст, набранный в неправильной раскладке, например «rfhnf vjcrds» («карта москвы») и «дштуфпу 2» («lineage 2»). Давайте посмотрим, что произошло в Рунете с «грамотностью» поиска за последние 2 года. Изменения можно смело назвать «драматическими». Все без исключения поисковики втянулись в «борьбу за грамотность». Полнота и точность программ исправления запросов непрерывно росли и у некоторых поисковиков вышли на уровень 70-80%. Это значит, что в среднем исправляются три ошибочных запроса из четырех, и в трех случаях из четырех подсказка оказывается правильной. Во всех поисковиках появились подсказки быстрого набора, большинство поисковиков исправляет часть запросов автоматически. Прогресс в поисковой «грамотности» объясняется развитием и внедрением вероятностных методов (т.н. языковых моделей), которые пришли на смену традиционным лингвистическим подходам и быстро нашли применение практически во всех областях искусственного интеллекта (исправление ошибок, автоматический перевод, распознавание речи). Языковые модели представляют собой статистику употребимости слов и выражений естественного языка (например, русского) в определенной сфере использования (в поисковых запросах). Основой языковой модели служит список наиболее употребимых слов и n-словных сочетаний с частотами встречаемости за определенный период времени. Если n равно 2, модель называется «двухсловной», если 3 – «трехсловной» и так далее. Информация о совместной встречаемости слов оказала всестороннее влияние на качество: позволила находить в запросах больше ошибок, выявлять более сложные классы ошибок, давать более точные подсказки. Только применение языковой модели дало возможность исправлять ошибки, связанные со словарным окружением – это опечатки с лишним или пропущенным пробелом («lovepla net»); когнитивные ошибки слитно-раздельного написания («пост индустриализация»); контекстные ошибки – малапропизмы (неправильные замены одного слова другим, сходным по звучанию, например, «меховой слон»). Эти классы ошибок составляют почти четверть (!) всех ошибок в запросах. Правильный выбор варианта исправления тоже зачастую невозможен без анализа сочетаемости соседних слов. Так в запросе «грюм река» слово «грюм» можно заменить на «угрюм» только при наличии слова «река». В запросе «грюм стиль» слово «грюм» надо заменять на «грум». А в запросе «аластор грюм» вообще ничего не надо исправлять (это персонаж из «Гарри Поттера»). Высокий уровень точности, достигнутый в результате применения языковой модели, позволил сделать очень смелый и важный шаг вперед – перейти от подсказок к автоматическому исправлению запросов. Сейчас на Яндекс.Поиске около трети запросов с ошибками исправляются автоматически. В немалой степени зависит от полноты и точности исправления запросов содержимое подсказки быстрого набора. Подсказывать опечаточные варианты нет смысла и выглядит такая подсказка неряшливо. Фильтрация подсказок быстрого набора от орфографических ошибок и опечаток является важной и сложной задачей, весьма далекой от завершения. Возвращаясь к «человеку», можно уверенно сказать, что перечисленные выше изменения в качестве сервиса подсказочных модулей не могли остаться незамеченными и затронули всех пользователей – независимо от уровня образования. Орфографические ошибки в трудных словах («агентство», «галерея», «терраса») чаще делают те, кто плохо учился в школе. Однако случайные ошибки («биноклб», «чснок», «марафонн») делают все – от детсадовца до академика. Делать прогнозы развития программ исправления запросов достаточно сложно. Резервы языковой модели далеки от исчерпания, но обычно после мощных и резких рывков наступает затишье – до следующего прорыва в области искусственного интеллекта. Интересно, что это будет за прорыв и что все это время будет происходить с грамотностью пользовательской аудитории? Об этом – в следующих выпусках. Алексей Байтин, группа исправления опечаток

Яндекс.Словари, а точнее раздел словарей русского языка, пополнился новыми изданиями, став еще полезнее. Увидев противоположное значение слова «абстрактно» легче понять его собственное значение, чем и предлагает воспользоваться «Словарь антонимов русского языка». Антонимические пары проиллюстрированы цитатами из художественной, научной литературы и публицистики. Если кто-то сказал, что вы «как свинья в апельсинах», это совсем не означает, что вы превратились в животное и сидите среди фруктов. Что в действительности имел в виду говорящий, может пояснить «Фразеологический словарь русского литературного языка». Часть фразеологизмов в нем сопровождается исторической справкой, объясняющей их происхождение. Еще одно издание — «Русский орфографический словарь» — хранит в себе около 180 тысяч слов с указанием ударений и необходимой грамматической информацией. Желаю приятного изучения, Лидия Попело.

Нам задают вопросы про Query-based speller, который наряду со словарным орфографическим корректором работает на поиске Яндекса с начала июля. > Однако меня все равно не устраивает, когда в ответ на запрос "афтор" > с одной опечаткой мне говорят, что возможно следует писать "афтар", > а не "автор" > http://yandex.ru/yandsearch?text=%E0%F4%F2%EE%F0 Отвечаем: [автор] и [афтар] — два разных слова, они принадлежат к двум разным пластам языка, имеют разную сочетаемость. По ассоциациям запросов видно, что такую опечатку делают т.н. «падонки», которые намеренно пишут это слово через «ф». Нормальный человек не поставит случайно вместо «в» букву «ф» — и по звучанию не похоже, и расположена на клавиатуре не рядом. Иными словами замену [афтор] -> [афтар] мы считаем вполне адекватной. Более того, по-видимому, орфографической ошибкой является написание [автор жжот]. Правильно [афтар жжот]. Удачного поиска! Илья Сегалович, директор по технологиям и разработке

Уже давно-давно на семинарах/конференциях показываю слушателям красивый пример, демонстрирующий богатство русского языка. Подумал, что не совсем справедливо, что те, кто на семинарах не был и лингвистикой не увлекается, не в курсе. Яндекс, как известно, знаком с морфологией русского языка и умеет корректно склонять/спрягать слова (и искать вне зависимости от того, в какой форме задано слово). Обычно слово имеет не очень много словоформ, однако, есть слова, количество словоформ которых весьма впечатляет. Вот пример такого слова-монстра: глагол "извергать". У него - 166 форм. Из них 152 построены по современным грамматическим правилам. 14 форм - это формы типа "извергавшИЯ" или "извергавшАГО". Собственно, вот они: изверг, извергав, извергавшаго, извергавшагося, извергавшая, извергавшаяся, извергавшего, извергавшегося, извергавшее, извергавшееся, извергавшей, извергавшейся, извергавшем, извергавшемся, извергавшему, извергавшемуся, извергавшею, извергавшеюся, извергавши, извергавшие, извергавшиеся, извергавший, извергавшийся, извергавшим, извергавшими, извергавшимися, извергавшимся, извергавших, извергавшихся, извергавшия, извергавшияся, извергавшую, извергавшуюся, извергаем, извергаема, извергаемаго, извергаемая, извергаемо, извергаемого, извергаемое, извергаемой, извергаемом, извергаемому, извергаемою, извергаемую, извергаемы, извергаемые, извергаемый, извергаемым, извергаемыми, извергаемых, извергаемыя, извергает, извергаете, извергается, извергаешь, извергай, извергайте, извергал, извергала, извергалась, извергали, извергались, извергало, извергалось, извергался, извергать, извергаться, извергаю, извергают, извергаются, извергающаго, извергающагося, извергающая, извергающаяся, извергающего, извергающегося, извергающее, извергающееся, извергающей, извергающейся, извергающем, извергающемся, извергающему, извергающемуся, извергающею, извергающеюся, извергающие, извергающиеся, извергающий, извергающийся, извергающим, извергающими, извергающимися, извергающимся, извергающих, извергающихся, извергающия, извергающияся, извергающую, извергающуюся, извергая, извергла, извергли, извергло, извергнем, извергнет, извергнете, извергнешь, извергни, извергните, извергну, извергнув, извергнувшаго, извергнувшая, извергнувшего, извергнувшее, извергнувшей, извергнувшем, извергнувшему, извергнувшею, извергнувши, извергнувшие, извергнувший, извергнувшим, извергнувшими, извергнувших, извергнувшия, извергнувшую, извергнул, извергнут, извергнута, извергнутаго, извергнутая, извергнуто, извергнутого, извергнутое, извергнутой, извергнутом, извергнутому, извергнутою, извергнутую, извергнуты, извергнутые, извергнутый, извергнутым, извергнутыми, извергнутых, извергнутыя, извергнуть, извергшаго, извергшая, извергшего, извергшее, извергшей, извергшем, извергшему, извергшею, извергши, извергшие, извергший, извергшим, извергшими, извергших, извергшия, извергшую Алексей Амилющенко, главный аналитик отдела маркетинга