Давайте признаемся, что мы уже устали от рассказов про то, что вышел новый движок, который делает машинные переводы «almost human-like» или «вообще не требует человеческого ревью». При этом движки действительно становятся все качественнее: дуумвират Google-Deepl разрушен, а новые языковые модели показывают немыслимые результаты на бенчмарках. Но почему мы все еще уверены, что хорошие бенчмарки нам не помогут? Как встроить движок МТ в процесс перевода так, чтобы он действительно помогал, а не мешал?

Сообщество Open Data Science и компания MWS AI в партнерстве с МФТИ и ИТМО вновь запускают бесплатный курс по обработке естественного языка. Стартуем 16 сентября –  подробности и регистрация.

Обучение длится 2 месяца и подойдёт специалистам по Data Science, разработчикам, DL- и ML-инженерам. 

На курсе будет упор на актуальные задачи: NER, генерацию, машинный перевод, QA‑системы. Вас ждёт пошаговое погружение в передовые LLM и разбор задач с точки зрения production-ready решений. Научитесь оценивать качество моделей (BLEU, chrF, ROUGE, Perplexity), работать с поиском (от Elasticsearch и BM25 до RAG) и адаптировать большие языковые модели под конкретные бизнес‑задачи.

А ещё сделаете 4 проекта, получите на них подробный фидбек от опытных инженеров — и пополните портфолио.

TL;DR: Этой весной сообщество Open Data Science и компания Huawei делают новый запуск курса по обработке естественного языка. Вот страница нашего курса. Для того, чтобы его пройти, нужно зарегистрироваться.

Исследователи из Обернского университета пришли к выводу, что многие ИИ, предназначенные для обработки естественного языка (Natural Language Processing, NLP), не замечают, когда слова в предложении перемешиваются, а его значение меняется. Это показывает, что ИИ на самом деле не понимают язык, и создает проблемы в обучении систем NLP.

В июне OpenAI презентовала модель машинного обучения GPT-3, обученную на 175 млрд параметров. Эта модель является одной из самых сложных. В отличие от предшественников GPT-2 и GPT-1 ее исходный код или обучающий набор данных решили не открывать. Теперь создатели проекта GPT-Neo от EleutherAI решили воссоздать аналог GPT-3.

Коммерческая лицензия на GPT-3 доступна только для Microsoft, которая инвестировала $1 млрд в OpenAI и построила суперкомпьютер на базе Azure, предназначенный для дальнейших исследований компании.

Было предпринято уже несколько попыток воссоздать GPT-3 с открытым исходным кодом. Однако нынешнюю можно назвать самой серьезной. Создатели GPT-Neo Коннор Лихи, Лео Гао и Сид Блэк собирают рядовых исследователей в области машинного обучения с открытым исходным кодом, чтобы начать проект не позднее августа.

GPT-Neo — это кодовое название серии языковых моделей, основанных на преобразователях в стиле архитектуры GPT с открытым исходным кодом. У проекта есть кодовая база, построенная на Tensorflow-mesh (для обучения на TPU) и на Deepspeed (для обучения на GPU). Обе могут масштабироваться до размеров GPT-3, но проекту пока не хватает TPU для полного обучения модели со 175 млрд параметров.

Большую часть модели уже построили и обучили модели размера GPT-2, а также реализовали несколько экспериментальных архитектур. В настоящее время ведется работа над завершением репликации модели размера GPT-2.

Как отметили исследователи, самая большая модель, которую им приходилось тренировать для одного шага, включала 200 млрд параметров.

В октябре команда ученых из Мюнхенского университета Людвига-Максимилиана разработала методику глубокого обучения для моделей обработки естественного языка. Она обучила модель Transformer NLP с 223 млн параметров, которая превзошла GPT-3 более чем на 3% в тесте SuperGLUE.

А на днях в Google представили метод, который, по утверждению компании, позволил обучить языковую модель, содержащую более триллиона параметров. Исследователи заявили, что новая модель с 1,6 трлн параметров, по-видимому, является крупнейшей в своем классе на сегодняшний день.

Профессор философии Калифорнийского университета в Риверсайде Эрик Швитцгебель, философы Анна Штрассер и Мэтью Кросби провели эксперимент, в ходе которого испытуемых попросили определить, какие ответы на философские вопросы принадлежали их коллеге Дэниелу Деннету, а какие — генератору речи GPT-3. 

OpenAI сообщила, что спустя девять месяцев после выпуска NLP-алгоритма GPT-3 его используют более 300 приложений. Модель генерирует, в среднем, 4,5 млрд слов в день.

Разработчик представил базовую оболочку на Python, которая позволяет языковой модели OpenAI интерпретировать команды оболочки Linux bash и запускать задачи. Однако проверять запуск команд перед запуском нужно вручную.

Исследователи из Пекинской академии искусственного интеллекта объяви��и о выпуске собственной генеративной модели глубокого обучения, Wu Dao, которая способна конкурировать и даже превзойти GPT-3 от OpenAI.

OpenAI запускает стартап-фонд Startup Fund на $ 100 млн, через который компания и ее партнеры будут инвестировать в разработку технологий на ИИ, решающих основные проблемы и способствующие повышению производительности. Первым партнером и инвестором фонда стала Microsoft.

OpenAI опубликовала исходный код системы распознавания речи Whisper. Открыты код эталонной реализации на базе фреймворка PyTorch и набор уже обученных моделей для использования под лицензией MIT.

Агентство Bloomberg представило чат-бота BloombergGPT. Это большая языковая модель с 50 млрд параметров, созданная для финансового рынка. Модель обучена работе с широким спектром данных и поддерживает выполнение разнообразных задач обработки естественного языка в финансовой отрасли.

Data Fest — крупнейшая в Евразии бесплатная конференция, объединяющая исследователей, инженеров и разработчиков, связанных с data science.

Старший научный сотрудник института искусственного интеллекта AIRI Илья Макаров и выпускница ВШЭ Анастасия Ященко описали алгоритм автоматического анализа литературных произведений на основе ИИ. Исследователи проанализировали системы персонажей книг Джона Рональда Руэла Толкина.

MTS AI представила новую версию своей большой языковой модели Cotype для бизнеса — Cotype Pro 2. Новая модель на 40% быстрее предыдущей и на 50% точнее обрабатывает длинные тексты — до 128 тыс. токенов, что соответствует примерно 900 тыс. символов с пробелами. Она адаптирована под выполнение более чем 100 сценариев корпоративных пользователей в России и может быть развернута на собственной инфраструктуре компании без подключения к внешним серверам, что обеспечивает повышенную защиту данных. Модель вошла в пятерку лучших русскоязычных LLM в бенчмарке MERA от Альянса в сфере искусственного интеллекта. 

Компания «Яндекс» открыла приём заявок на премию Yandex ML Prize 2025. Премия вручается преподавателям и руководителям образовательных программ за вклад в подготовку специалистов по машинному обучению в России. Лауреаты получат денежные призы и гранты на использование Yandex Cloud.

Сегодня для всех пользователей GigaChat Web мы выпустили новую фичу — ссылки на источник. Самым сложным при реализации этой функции было обучить GigaChat генерировать специальные маркеры, указывая таким образом, на основе какого источника сгенерирована та или другая часть ответа.

Кому интересно, как мы это сделали, добро пожалов��ть под кат.

В этом году мы в шестой раз вручили научную премию в области машинного обучения Yandex ML Prize. Совет премии выбрал 14 лауреатов, представивших наиболее перспективные и значимые работы в области генеративных моделей, обработки естественного языка, компьютерного зрения, информационного поиска, распознавания и синтеза речи, когнитивной робототехники.