Яндекс создал «гибридный» искусственный интеллект для перевода текстов

Специалисты «Яндекс» создали новую систему онлайн-перевода, которая одновременно использует и старые статистические алгоритмы, и искусственный интеллект, сообщает пресс-служба компании.
«Пока наша новая система поддерживает только перевод с русского на английский язык. В ближайшее время мы начнем добавлять другие языковые пары, и в течение нескольких месяцев мы реализуем поддержку большинства самых популярных языков», — заявили в пресс-службе «Яндекса», отвечая на вопросы корреспондента РИА «Новости».
В последние несколько лет ведущие IT-компании начали активно развивать и использовать различные формы искусственного интеллекта для поиска информации в сети, обработки фотографий и их каталогизации и множества других целей, где классические алгоритмы обработки данных не работают.
Ярким примером этого подхода стала система искусственного интеллекта AlphaGo, открыто обыгравшая чемпионов мира и Европы по Го в прошлом году, и анонимно победившая сотни топ-игроков в онлайн-системах игры в эту древнекитайскую игру.
Большая часть этих разработок основывается на так называемых глубинных или сверточных нейросетях. Они представляют собой каскады или многослойные структуры из нескольких десятков или сотен более простых нейросетей. Каждая из них обрабатывает не исходные данные, а продукты анализа, полученные сетью, расположенной выше, что позволяет упрощать очень сложные проблемы и решать их при помощи относительно скромных вычислительных ресурсов.
Нечто похожее происходит и при использовании искусственного разума для перевода с одного языка на другой. Когда нейросеть «читает» переводимый текст, система не пытается перевести ее по фразам или отдельным словам, а ищет ответ целиком, используя данные, накопленные при анализе текстов, переведенных человеком.
У подобного подхода, как отмечают специалисты «Яндекса», есть как плюсы, так и минусы — в таком виде текст становится более читаемым и похожим на то, как его бы перевел человек, но с другой стороны, машина периодически начинает «фантазировать», если ей встречаются редкие слова и фразы.
Эту проблему «Яндекс» решил, объединив искусственный разум со старой системой перевода, хорошо справлявшейся с редкими словами, но имевшей большие проблемы при их объединении в предложения. Когда пользователь вводит текст, его одновременно переводит и нейросеть, и статистический алгоритм, после чего система машинного обучения CatBoost, недавно созданная «Яндексом», сопоставляет результаты и собирает из них более читаемый и более грамотный вариант.
На текущий момент времени старая версия «Яндекс. Переводчика» поддерживает 94 языка, в том числе ряд редких и вымышленных языков, в том числе и синдарин, речь эльфов из книг Джона Толкиена.