Лекция 13. Машинный перевод текста. Компьютерные языковые словари
Основы машинного перевода
Перевод - это вид языкового посредничества, который ориентирован на иноязычный оригинал. Перевод рассматривается как иноязычная форма существования сообщения, содержащегося в оригинале. Межъязыковая коммуникация, осуществляемая через посредство перевода, в наибольшей степени воспроизводит процесс непосредственного речевого общения, при котором коммуниканты пользуются одним и тем же языком.
Машинный перевод – это автоматическое извлечение знаний и текстов, написанных на естественном языке с помощью компьютерных программ с опорой на лингвистическое обеспечение.
Процесс машинного перевода – это действия компьютера по преобразованию текста на одном естественном языке в эквивалентный по содержанию текст на другом языке, а также результат такого действия.
Система автоматического понимания текста , исходит из того, что текст на естественном языке, построенный в соответствии со словарями, грамматикой и алгоритмами естественного языка, опирающийся на семантическую сеть, фреймы и тезаурусы, понимается пользователем благодаря тому, что у него существуют лингвистические знания - синтактико-семантические структуры, а также специальные знания.
Большинство систем автоматической обработки языка ставят своей задачей анализ текстов, заранее разбитых на предложения. Однако языковые данные доступны нам чаще всего в виде текстов, размеченных на абзацы, главы и другие более крупные единицы. Поэтому для их эффективного автоматического анализа необходимы соответствующие алгоритмы сегментации.
Задачи при создании системы автоматического понимания текста:
· анализ исходного естественного текста, который обеспечивает построение лингвистических структур, в том числе разных семантических структур, полных, частичных, сжатых, стремящихся представить содержание текста в форме баз данных,
· сравнение лингвистических структур текста со специальными или индивидуальными знаниями, также представленными в форме базы данных
· генерализация текстов на основе информации, заключенной в традиционных реляционных базах данных, а также в концептуальных текстовых структурах или в индивидуальных базах данных.
Для осуществления машинного перевода в компьютер вводится специальная программа, реализующая алгоритм перевода, под которым понимается последовательность однозначно и строго определенных действий над текстом для нахождения переводных соответствий в заданной паре языков при заданном направлении перевода (с одного конкретного языка на другой). Имеются также отдельные системы машинного перевода, рассчитанные на перевод в рамках трех и более языков, но они в настоящее время являются экспериментальными.
Современный машинный, или автоматический перевод осуществляется с помощью человека: пред-редактора, который тем или иным образом предварительно обрабатывает подлежащий переводу текст, интер-редактора, который участвует в процессе перевода, или пост-редактора, который исправляет ошибки и недочеты в переведенном машиной тексте.
Система машинного перевода включает в себя двуязычные словари, снабженные необходимой грамматической информацией (морфологической, синтаксической и семантической), которые обеспечивают передачу эквивалентных, вариантных и трансформационных переводных соответствий, толковые и специальные тематические словари, а также алгоритмические средства грамматического анализа, реализующие какую-либо из принятых для автоматической переработки текста формальных грамматик.
Наиболее распространенной является следующая последовательность формальных операций, обеспечивающих анализ и синтез в системе машинного перевода:
· ввод текста и поиск входных словоформ во входном словаре с сопутствующим морфологическим анализом, в ходе которого устанавливается принадлежность данной словоформы к определенной лексеме. В процессе анализа из формы слова могут быть получены также сведения, относящиеся к другим уровням организации языковой системы.
· перевод идиоматических словосочетаний, фразеологических единств или штампов данной предметной области, определение основных грамматических характеристик элементов входного текста, разрешение омографии, лексический анализ и перевод лексем. Обычно на этом этапе однозначные слова отделяются от многозначных, после чего однозначные слова переводятся по спискам эквивалентов, а для перевода многозначных слов используются так называемые контекстологические словари, словарные статьи которых представляют собой алгоритмы запроса к контексту на наличие/отсутствие контекстных определителей значения.
· Окончательный грамматический анализ, в ходе которого доопределяется необходимая грамматическая информация с учетом данных выходного языка.
· Синтез выходных словоформ и предложения в целом на выходном языке.
Анализ и синтез могут производиться как пофразно, так и для всего текста, введенного в память компьютера; в последнем случае алгоритм перевода предусматривает определение так называемых анафорических связей.
Качество машинного перевода зависит от:
· объема словарей,
· объема информации, приписываемой лексическим единицам,
· тщательности составления и проверки работы алгоритмов анализа и синтеза,
· эффективности программного обеспечения.
Однако ни от одной из программ пока нельзя ожидать «правильного», литературного перевода текста, состоящего из сложных фраз.
Современные аппаратные и программные средства допускают использование словарей большого объема, содержащих подробную грамматическую информацию. Информация может быть представлена как в декларативной (описательной), так и в процедурной (учитывающей потребности алгоритма) форме.
Совершенствование программ по машинному переводу связано с концепцией мягкого понимания текста, согласно которой разные пользователи извлекают свою информацию и свой индивидуальный смысл из одного и того же текста. Модель мягкого понимания текста состоит в способности порождать различные осмысленные интерпретации исходного объекта в зависимости от разных условий и составляющих его восприятия.
Более частные "машинные средства" в помощь переводчику и редактору - это автоматические словари и терминологические базы данных, компьютерные тезаурусы, средства экранного редактирования, системы орфографической, терминологической и грамматической коррекции текстов.
Современный машинный перевод следует отличать от использования компьютеров в помощь человеку-переводчику. В последнем случае имеется в виду автоматический словарь , помогающий человеку быстрее подбирать нужный переводной эквивалент. Хотя и в том, и в другом случае компьютер работает вместе с человеком (переводчиком или редактором), в содержание термина «машинный перевод» входит представление о том, что главную, бóльшую часть работы по переводу и отысканию переводных эквивалентов и переводных соответствий машина берет на себя, оставляя человеку лишь контроль и исправление ошибок.
Компьютерный словарь в помощь человеку – это вспомогательное средство для быстрого нахождения переводных соответствий; при этом, в такого рода словарях в ограниченной степени могут быть реализованы и некоторые функции, присущие системам машинного перевода.
В информационной технологии различаются 2 основных подхода к машинному переводу:
· поверхностное ознакомление с содержанием документа на незнакомом языке
· использование машинного перевода вместо обычного «человеческого». Это предполагает тщательное редактирование и настройку системы перевода на определенную предметную область.
Здесь играют роль полнота словаря, ориентированность его на содержание и набор языковых средств переводимых текстов, эффективность способов разрешения лексической многозначности, результативность работы алгоритмов извлечения грамматической информации, нахождения переводных соответствий и алгоритмов синтеза.
Как вид языковой деятельности перевод затрагивает все уровни языка – от распознавания графем (и фонем при переводе устной речи) до передачи смысла высказывания и текста. Кроме того, машинный перевод предоставляет возможность проверять теоретические гипотезы об устройстве тех или иных языковых уровней и эффективности предлагаемых алгоритмов.
Необходимость в совершенствовании машинного перевода постоянно возрастает, так как это является важнейшим условием обеспечения межъязыковой коммуникации, объем которой возрастает с каждым годом.
Другие способы преодоления языковых барьеров на пути коммуникации – разработка или принятие единого языка, а также изучение иностранных языков – не могут сравниться с переводом по эффективности.
Датой рождения машинного перевода как исследовательской области обычно считают март 1947; именно тогда специалист по криптографии Уоррен Уивер в своем письме Норберту Винеру впервые поставил задачу машинного перевода, сравнив ее с задачей дешифровки.
Проблемами машинного перевода занимается компьютерная лингвистика , которая родилась в январе 1954 года, когда в Джорджтаунском университете (США) был проведен первый в мире публичный эксперимент по машинному переводу. В те же времена под руководством крупнейшего математика и кибернетика Алексея Ляпунова начались активные работы по машинному переводу и в Москве. В начале 1956 года в Институте прикладной математики (ИПМ) им.М.В.Келдыша начала работать первая отечественная система машинного перевода с французского на русский язык.
Лидеры среди современных программ машинного перевода в России - система PROMT (разработка компании ПРОМТ, www.e-promt.ru) и система СОКРАТ (разработка компании «Арсеналъ», www.ars.ru).
В последней версии PROMT появилась принципиально новая функциональность, «Ассоциированная Память». Механизм «Ассоциированной Памяти» позволяет обучать систему. С его помощью можно сохранить удовлетворяющий вас перевод текста в базе знаний и в дальнейшем использовать его фрагменты при переводе похожих текстов.
СОКРАТ пытается найти однозначное решение и не дает вариантности в терминах: слово, отсутствующее в словаре, остается в исходном написании. PROMT же обычно предлагает несколько вариантов перевода слов и словосочетаний.
Машинный перевод, прошедший несколько стадий своего развития, в настоящее время сконцентрирован на идее моделирования действий человека-переводчика . Процесс перевода очень труден, а правильное использование преимуществ программного обеспечения во многом определяет качество перевода. Современные системы машинного перевода включают в себя множество дополнительных словарей. Основываясь на особенностях архитектурных решений для лингвистических алгоритмов, системы подразделяются на два типа - "Трансфер" и "Интерлингва". Программы автоматического перевода строятся в соответствии с данным разделением. Так, например программа "Сократ" переводит намного лучше, чем скажем "Мэджик Гудди" потому, что лингвистическое обеспечение первой программы намного сильнее, а словари намного больше по объему.
Результаты машинного перевода всегда приходится редактировать. Так, например, в программе "Парс" предусмотрена функция дополнительного подключения словарей различной тематики. Ведь от качества обеспечения программы зависит и качество выдаваемого машиной перевода. Но даже тонкая настройка системы под лексику переводимого текста не учитывает всех его особенностей, поэтому переведенные слова, имеющие несколько синонимов, помечаются звездочкой, либо приводятся в скобках как вариант.
Интернет-технологии дали новое развитие машинному переводу, помогли вывести его на новую стадию развития. Машинный перевод - это эффективное средство для просмотра и поиска информации на иностранном языке, а именно эта функция является главной при работе в Интернете. Современное состояние машинного перевода позволяет получать относительно корректный текст перевода веб-страниц с большинства языков. И хотя полностью автоматический высококачественный перевод невозможен, уже имеется программное обеспечение, которое облегчает сам процесс перевода.
В результате настройки на предметную область и интеграции с другими программами обработки документов машинный перевод позволяет автоматизировать получение переводного текста.
Основной проблемой всех программ машинного перевода является правильный выбор тематического словаря, а также выстраивание вспомогательных словарей.
Перевод частично зависит и от уровня подготовки пользователя (знание языка, навыки работы с программами, чувство языка), а также в большей степени его умения правильно работать с текстовым редактором, вспомогательными утилитами, словарями и фразеологическими справочниками. Варианты переводов, производимых с подключением тематических словарей, дает хороший перевод, правильный выбор значения слова и употребление фраз в тексте. Это объясняется тем, что машина настраивает свой словарь на выбор тех синонимов, которые бы соответствовали в большей степени тематике входящего языка, и переводила бы в соответствии с тематикой выходного языка.
2 подхода к проблеме развития машинного перевода :
· установка на использование универсального языка смысла, прямой подход к переводу, преобразование текста оригинала в текст перевода
· установка на промежуточный язык, моделирование человеческого владения языком
Проблема состоит в том, что смысл текста на естественном языке зависит не только от самого предложения, но также и от контекста, который связан с многозначностью слов и синтаксических конструкций, практической невозможностью глобального описания семантической структуры мира даже в ограниченной предметной области, отсутствием эффективных формальных методов описания лингвистических закономерностей.
Нерешенные проблемы машинного перевода – это
· решение неоднозначности формального синтаксического анализа изолированных предложений текста
· преодоление структурной и смысловой неполноты участков (фрагментов) текста
· организация гибкого подключения разных предметных областей
· необходимость понимания текста как целого образования
Программы машинного перевода лучше обрабатывают научные, технические и образовательные тексты, которым присуще строгое изложение материала.
Разговорный и публицистический стиль, где много специфических оборотов, но большинство слов используется в прямом смысле, пригодны для ознакомительного перевода, однако для получения грамотного выходного текста требуется ручная правка. Получаемый перевод является неким ознакомительным текстом, где передается лишь общая тематическая направленность текста.
Перевод же художественной литературы и поэзии не соответствует требованиям машины. Смысл текста, построенного на иносказательных выражениях, при машинном переводе искажается и недоступен даже для ознакомления. Машина не понимает многозначности, что в свою очередь приводит к неправильной интерпретации переводимого текста, который превращается в бессмыслицу.
Постараться минимизировать такие недоразумения можно, соблюдая следующие правила :
· правильно выстраивать тематические словари
· проверять текст оригинала на стадии предподготовки его перевода
· редактировать на конечной стадии перевода
· правильно использовать программы словарей
· хорошо знать грамматику и лексику, а также тематику исходного текста
· правильно оперировать словарным запасом, клише и словоформами
· своевременно пополнять специальные словари новыми терминами
Введение
Машинный перевод - процесс перевода текстов (письменных, а в идеале и устных) с одного естественного языка на другой с помощью специальной компьютерной программы. Так же называется направление научных исследований, связанных с построением подобных систем.
Вместо "машинный" иногда употребляется слово автоматический, что не влияет на смысл. Однако не стоит путать машинный перевод с автоматизированным, он имеет совсем другое значение - при нём программа просто помогает человеку переводить тексты.
Мысль использовать электронные вычислительные машины (ЭВМ) для перевода была высказана в 1947 году в США, сразу после появления первых ЭВМ. Первая публичная демонстрация машинного перевода состоялась в 1954 году. Несмотря на примитивность той системы, этот эксперимент получил широкий резонанс.
К середине 1960-х в США для практического использования были предоставлены две системы русско-английского перевода:
- · MARK
- · GAT
Однако созданная для оценки подобных систем комиссия ALPAC пришла к выводу, что в силу низкого качества машинно переведённых текстов эта деятельность в условиях США нерентабельна. Хотя комиссия рекомендовала продолжать и углублять теоретические разработки, в целом её выводы привели к росту пессимизма, снижению финансирования, часто к полному прекращению работ по этой тематике.
Тем не менее, в ряде стран исследования продолжались, чему способствовал постоянный прогресс вычислительной техники. Особенно существенным фактором стало появление мини- и персональных компьютеров, а с ними всё более сложных словарных, поисковых систем, ориентированных на работу с естественно-языковыми данными. Росла и необходимость в переводе как таковом ввиду роста международных связей. Все это привело к новому подъёму этой области. Наступило время широкого практического использования переводческих систем, сложился рынок коммерческих разработок по этой теме.
Впрочем, высококачественный перевод текстов широкой тематики по-прежнему недостижим. Однако несомненным является ускорение работы переводчика при использовании систем машинного перевода.
1. Основная часть
Системы машинного перевода делятся на три категории:
- -системы на основе грамматических правил (Rule-Based Machine Translation, RBMT),
- -статистические системы (Statistical Machine Translation, SMT)
- -гибридные системы , сочетающие преимущества тех и других (являются наиболее перспективными)
Машинный перевод на основе правил - общий термин, который обозначает системы машинного перевода на основе лингвистической информации об исходном и переводном языках. Они состоят из двуязычных словарей и грамматик, охватывающих основные семантические, морфологические, синтаксические закономерности каждого языка. Такой подход к машинному переводу еще называют классическим . На основе этих данных исходный текст последовательно, по предложениям, преобразуется в текст перевода. Принцип работы таких систем - связь структуры входного и выходного предложения. перевод компьютерный машинный
RBMT системы делятся на три группы :
- · системы пословного перевода;
- · трансферные системы (Transfer) - преобразуют структуры входного языка в грамматические конструкции выходного языка;
- · интерлингвистические системы (Interlingua)- промежуточный язык описания смысла.
Основным достоинством систем на основе трансфера является высокая полнота охвата текстов при приемлемом уровне качества перевода, а также низкий уровень затрат на первичную разработку и модернизацию.
Компоненты типичной RBMT:
- · Лингвистические базы данных: - двуязычные словари; - файлы имен, транслитерации; - морфологические таблицы.
- · Модуль перевода: - грамматические правила; - алгоритмы перевода.
- · Преимущества RBMT систем
:
- - синтаксическая и морфологическая точность;
- - стабильность и предсказуемость результата;
- - возможность настройки на предметную область.
- · Недостатки RBMT систем :
- - трудоемкость и длительность разработки;
- -необходимость поддерживать и актуализировать лингвистические БД;
- -"машинный акцент" при переводе.
Статистический машинный перевод - разновидность машинного перевода, где перевод генерируется на основе статистических моделей, параметры которых являются производными от анализа двуязычных корпусов текста (text corpora).
Статистический машинный перевод противопоставляют системам машинного перевода, основанным на правилах, Rule-Based Machine Translation (RBMT), и на примерах, Example-Based MT (EBMT).
Первые идеи статистического машинного перевода были опубликованы Уорреном Уивером (Warren Weaver) в 1949 году. "Вторая волна" - начало 1990-х, IBM. "Третья волна" - Google, Microsoft, Language Weaver, Яндекс.
Статистические модели перевода:
- · по словам (Word-based translation - WBT)
- · по фразам (Phrase-based translation - PBT)
- · по синтаксису (Syntax-based translation - SBT)
- · по иерархическим фразам (Hierarchical phrase-based translation - HPBT)
Преимущества SMT:
- · Быстрая настройка
- · Легко добавлять новые направления перевода
- · Гладкость перевода
Недостатки SMT:
- · "Дефицит" параллельных корпусов
- · Многочисленные грамматические ошибки
- · Нестабильность перевода
Разработчики систем машинного перевода для улучшения качества вводят некоторые "сквозные" правила, тем самым превращая чисто статистические системы в Гибридный машинный перевод. Добавление некоторых правил, то есть создание гибридных систем, несколько улучшает качество переводов, особенно при недостаточном объёме входных данных, используемых при построении индекса машинного переводчика.
Гибридный машинный перевод - интеграция разных подходов машинного перевода из возможных вариантов МП:
- · Rule-based machine translation (RBMT) - Машинный перевод на основе правил.
- · Corpus-based machine translation (CBMT) - Машинный перевод на корпусах текстов.
- · Example-based machine translation (EBMT) Машинный перевод на примерах.
- · Statistical machine translation (SMT) - Статистический машинный перевод.
Ожидается, что с помощью гибридной архитектуры удастся объединить преимущества этих подходов.
Гибридная технология перевода предполагает использование статистических методов для построения словарных баз автоматическим путем на основе параллельных корпусов, формирования нескольких возможных переводов, как на лексическом уровне, так и на уровне синтаксической структуры предложения выходного языка, применения постредактирования в автоматическом режиме и выбор лучшего (наиболее вероятного) перевода из возможных на основе языковой модели, построенной по определенному корпусу выходного языка.
Статистический МП стремится использовать лингвистические данные, а системы с "классическим" подходом, основанном на правилах, применяют статистические методы. Добавление некоторых "сквозных" правил, то есть создание гибридных систем, несколько улучшает качество переводов, особенно при недостаточном объеме входных данных, используемых при построении индексных файлов хранения лингвистической информации машинного переводчика, базирующегося на N-граммах.
Архитектура Гибридной технологии "SMT и RBMT" [
RBMT-система дополнена двумя компонентами: модулем статистического постредактирования и модулем языковых моделей. Статистическое постредактирование позволяет сгладить RB-перевод, приближая его к естественному языку и при этом сохраняя четкую структуру синтезируемого текста. Языковые модели используются для оценки гладкости и грамматической правильности вариантов перевода, порождаемых гибридной системой.
Типичная архитектура HMT :
- · Параллельный корпус;
- · Обучение;
- · Языковая модель;
- · Данные для постредактирования;
- · Правила синтеза;
- · Словарь терминологии.
Преимущества гибридного перевода:
- · Быстрая автоматическая настройку на основе Translation Memories заказчика;
- · Терминологическая точность перевода, а также единство стиля;
- · Получение дополнительных полезных данных - двуязычного терминологического словаря.
Заключение
Главное преимущество машинного перевода в том, что он позволяет быстро справиться с очень большими объёмами текста и поэтому иногда оказывается экономически выгоднее перевода вручную. При этом следует помнить, что качество машинного перевода всегда будет уступать человеческому. Поэтому использовать его целесообразно лишь в определённых случаях.
Многие типы материалов в принципе не предназначены для машинного перевода. Так, нельзя доверять машине тексты, где неточность перевода может поставить под угрозу здоровье человека, работоспособность сложного прибора или крупный контракт - сэкономленное время здесь не оправдывает риска. Любые документы, подразумевающие юридическую ответственность, требуют контроля человека. Машинный перевод непригоден для маркетинговых материалов, где текст фактически переосмысливается в новом культурном контексте и создается заново.
Приемлемого качества можно ожидать при переводе строго формализованных технических текстов, в то время как художественные и рекламные тексты машинному переводу не поддаются.
Прибегая к машинному переводу, важно не только чётко представлять себе желаемый результат и понимать ограничения этого метода, но и учитывать ещё один фактор. Системы МП обычно требуют сложной индивидуальной настройки и доработки, в том числе "обучения" по конкретной тематике - без этого они показывают гораздо худшие результаты. В связи с этим машинный перевод имеет смысл использовать, только если предстоит перевести огромные объёмы однотипных текстов. В этом случае будет экономически целесообразно затратить определённое время на обучение системы, затем применить машинный перевод и получить на выходе текст, пригодный для постредактирования. Если же речь идёт о нескольких десятках страниц, пытаться внедрить машинный перевод бессмысленно и попросту убыточно.
Таким образом, машинный перевод с постредактированием может оказаться действительно выгодным, если переводятся тексты подходящего типа в очень больших объёмах. Поскольку большие объёмы переводов проходят через переводческие компании, которые часто специализируются в конкретных предметных областях, внедрение достаточно эффективных, но дорогих систем машинного перевода последнего поколения экономически оправдано именно в таких компаниях: ни поставщики контента, пусть даже крупные, ни индивидуальные переводчики не смогут самостоятельно эффективно использовать машинный перевод.
Используемая литература
- 1. http://www.logrus.ru
- 2. http://www.moluch.ru/
- 3. https://www.academia.edu
- 4. http://study-english.info/
Подходы к машинному переводу
Системы машинного перевода могут использовать метод перевода основанный на лингвистических правилах. Наиболее подходящие слова из исходного языка просто заменяются словами переводного языка.
Часто утверждается, что для успешного решения проблемы машинного перевода, необходимо решить проблему понимания текста на естественном языке.
Как правило, метод перевода основанный на правилах использует символическое представление (посредника), на основе которого создается текст на переводном языке. А если учитывать природу посредника то можно говорить об интерлингвистическом машинном переводе или трансфертном машинном переводе. Эти методы требуют очень больших словарей с морфологической, синтаксической и семантической информацией и большого набора правил.
Если у системы машинного перевода будет достаточное количество данных, то можно получить перевод хорошего качества. Основная трудность заключается в формировании этих данных. Например, большие корпуса текста необходимые для статистических методов перевода, для перевода, основанного на грамматике, оказываются недостаточными. Более того, для последних, требуется дополнительное задание грамматики.
Для перевода родственных языков (русский, украинский) может оказаться достаточной простая замена слов.
Современные системы машинного перевода делят на три большие группы:
· основанные на правилах;
· основанные на примерах;
СМП, основанные на правилах
Системы машинного перевода основанные на правилах - общий термин, который обозначает системы машинного перевода на основе лингвистической информации об исходном и переводном языках .
Они состоят из двуязычных словарей и грамматик, охватывающих основные семантические, морфологические, синтаксические закономерности каждого языка. Такой подход к машинному переводу еще называют классическим.
На основе этих данных исходный текст последовательно, по предложениям, преобразуется в текст перевода. Часто, такие системы противопоставляют системам машинного перевода, которые основаны на примерах.
Принцип работы таких систем - связь структуры входного и выходного предложения. Перевод при этом получается не особенно хорошего качества. Но на простых примерах работает.
Перевод с английского на немецкий будет выглядеть как:
A girl eats an apple. Ein Madchen isst einen Apfel.
Эти системы делятся на три группы:
· системы пословного перевода;
· трансфертные системы;
· интерлингвистические;
Пословный перевод
Такие системы используются сейчас крайне редко из-за низкого качества перевода. Слова исходного текста преобразуются (как есть) в слова переводного текста. Часто такое преобразование происходит без лемматизации и морфологического анализа. Это самый простой метод машинного перевода. Он используется для перевода длинных списков слов (например, каталогов). Так же он может быть использован для составления подстрочечника для TM-систем.
Трансфертные системы
Как трансфертные системы , так и интерлингвистические, имеют одну и ту же общую идею. Для перевода необходимо иметь посредника, который в себе несет смысл переводимого выражения. В интерлингвистических системах посредник не зависит от пары языков, в то время как в трансфертных - зависит.
Трансфертные системы работают по очень простому принципу: к входному тексту применяются правила, которые ставят в соответствие структуры исходного и переводного языков. Начальный этап работы включает в себя морфологический, синтаксический (а иногда и семантический) анализ текста для создания внутреннего представление. Перевод генерируется из этого представления с использованием двуязычных словарей и грамматических правил. Иногда на основе первичного представления, которое было получено из исходного текста, строят более «абстрактное» внутренне представление. Это делается для того, чтобы акцентировать места важные для перевода, и отбросить несущественные части текста. При построении текста перевода преобразование уровней внутренних представлений происходит в обратном порядке.
При использовании этой стратегии получается достаточно высокое качество переводов, с точностью в районе 90% (хотя это сильно зависит от языковой пары). Работа любой системы трансфертного перевода состоит как минимум из пяти частей:
· морфологический анализ;
· лексический трансфер;
· структурный трансфер;
· морфологическая генерация.
Морфологический анализ. Слова исходного текста классифицируются по частям речи. Выявляются их морфологические признаки. Определяются леммы слов.
Лексические категоризации. В любом тексте некоторые слова могут иметь более чем одно значение, вызывая неоднозначность в анализе. При лексической категоризации выявляется контекст слова. Возможны различного рода пометки и уточнения.
Лексический трансфер. На основе двуязычного словаря происходит перевод лемм слов. Действие очень похоже на пословный перевод.
Структурный трансфер. Слова согласуются в предложении.
Морфологическая генерация. На основе выходных данных структурного трансфера создаются словоформы переводного текста.
Одной из основных особенностей трансфеных систем машинного перевода является этап, во время которого промежуточное представление текста на языке оригинала «передается» в промежуточное представление текста в целевом языке. Это может работать на одном из двух уровней лингвистического анализа, или сразу на обоих.
1. Поверхностный (синтаксический) трансфер. Этот уровень характеризуется передачей «синтаксических структур» между исходным и переводным языком. Подходит для языков в той же семье или того же типа, например, в романских языков, между итальянским испанским, каталонским, французским, и т.д.
2. Глубинный (семантический) трансфер. Уровень характеризуется семантическим представлением. Оно зависит от языка оригинала. Это представление может состоять из ряда структур, которые представляют значение. Перевод также обычно требует структурного трансфера. Этот уровень используется для перевода между более отдаленными языками.
Интерлингвистический машинный перевод
Интерлингвистический машинный перевод - один из классических подходов к машинному переводу. Исходный текст трансформируется в абстрактное представление, которое не зависит от языка (в отличие от трансфертного перевода). Переводной текст создается на основе этого представления. Основным преимуществом такого подхода является то, что для добавления нового языка в систему. Можно доказать математически, что в рамках этого подхода, создания каждого нового интерпретатора языка для такой системы будет удешевлять ее, по сравнению, например, с системой трансфертного перевода. Кроме того, в рамках такого подхода можно
· реализовать «пересказ текста», перефразирование исходного текста в рамках одного языка;
· относительно простая реализация перевода сильно отличающихся языков, таких как, например русский и арабский.
Однако, до сих пор не существует реализаций такого подхода, которые бы корректно работали бы хотя бы для двух языков. Многие эксперты высказывают сомнения в возможности такой реализации. Сама большая сложность для создания подобных систем заключается в проектировании межъязыкового представления. Оно должно быть одновременно абстрактным и независящим от конкретных языков, но в тоже время оно должно отражать особенности любого существующего языка. С другой стороны, в рамках искусственного интеллекта, задача выделения смысла текста на данный момент до сих пор не решена.
Впервые интерлингвистический подход был предложен в 17 веке Декартом и Лейбницем, которые предложили универсальные словари, использующие числовые коды. Другие, такие как Кейв Бек, Афанасий Кирхер и Иоганн Иоахим Бехер работали над разработкой однозначного универсального языка, основанного на принципах логики и иконографики.
В 1668 году Джон Уилкинс в трактате «Опыт о Подлинной символике и философском языке» рассказал о своем интерлингва.
В 18 и 19 веков было разработано много универсальных языков, в том числе и Эсперанто. Известно, что идея универсального языка для машинного перевода, никак не проявилась на начальных этапах развития этой технологии. Вместо нее рассматривались только пары языков. Однако, в течение 1950-х и 60-х годов, исследователи в Кембридже возглавляемые Маргарет Мастерман, в Ленинграде во главе с Николаем Андреевым и в Милане Сильвио Ceccato начали работу в этой области.
В 1970-х и 1980-x годах были сделаны определенные успехи в этой области и был построен ряд систем машинного перевода.
В этом методе перевода, межъязыковое представление можно рассматривать как способ описания анализа текста, на языке оригинала. При этом, в представлении сохраняются морфологические, синтаксические характеристики текста. Предполагается, что таким образом можно передать «смысл» при создании переводного текста.
При этом иногда используется два межъязыковых представления. Одно из них более отражает характеристики исходного языка. Другое - языка перевода. Перевод в данном случае производится в два этапа.
В некоторых случаях используются два и более представления одного уровня (одинаково близкие к обоим языкам), но разнящиеся по тематике. Это необходимо для повышения качества перевода специфических текстов.
Такой подход не нов для лингвистики. Он основан на идеи близости языков. Для улучшения качества перевода, естественный язык используется в качестве моста между двумя другими языками. Например, при переводе с украинского на английский, иногда используется русский язык.
Для использования системы интерлингвистического машинного перевода необходимы:
· словари для анализа и генерации текстов;
· описание грамматик языков;
· база знаний понятий (для создания межъязыкового представления);
· правила проекции понятий для языков и представления.
Самым сложным моментом при создании такого типа является невозможность построить базу для широких областей знаний. А те базы, которые создаются для очень специфичной тематики, обладают высокой вычислительной сложностью.
Машинный, а точнее, компьютерный перевод - это также письменный перевод, поскольку в результате мы получаем письменный текст. Однако осуществляет его не переводчик, а особая компьютерная программа. Современные компьютерные программы перевода достаточно совершенны, но они до сих пор не могут разрешить самую сложную задачу процесса перевода: выбор контекстуально необходимого варианта, который в каждом тексте обусловлен многими причинами. В настоящее время результат этого вида перевода может быть использован как черновой вариант будущего текста, который будет редактировать переводчик, а также как средство, чтобы и крайней ситуации отсутствия переводчика получить общее представление о теме и содержании текста.
Еще более сложную задачу представляет перевод устного текста с помощью компьютерных программ, так как проблема распознавания устной речи находится лишь на начальном этапе своего решения. До сих пор непреодолимым препятствием является индивидуальная окраска звучания сегмента речи - на любом языке такая речь плохо формализуется.
Предварительное редактирование синтаксической структуры может заключаться в:
· разбиении сверхдлинного предложения (более 40 слов) на несколько более коротких, добавляя при этом (если необходимо) связочные элементы;
· введении в английский текст артиклей там, где это необходимо или грамматически оправдано;
· повторении элементов при сочинительной связи словосочетаний в предложении;
· введении союзов при использовании бессоюзной связи между предложениями;
· устранении конструкций в скобках в середине именной группы или в середине предложения;
· замене окказиональных аббревиатур на полные наименования либо введении специальных символов, не допускающих их перевод;
· устранении лексических и логических эллипсисов, неформальных конструкций и метафор;
· приведении к единому виду конструкций или сложных слов, которые могут встречаться в тексте в слитном, дефисном и свободном написании.
Отредактированный вручную текст затем автоматически обрабатывается в системе МП.
25. Общая схема машинного перевода.
Во всем мире использование систем машинного перевода, несмотря на все их слабые стороны, давно стало элементом профессиональной работы переводчика, который должен уметь использовать компьютер не только как пишущую машинку. Понятие автоматизированного рабочего места переводчика, включающего комплекс резидентных словарей, тезаурусов, систем проверки орфографии, систем доступа к информации по различным сетям передачи данных должно войти в обиход специалиста_филолога.
Система машинного перевода (МП) текстов может использоваться как часть такого автоматизированного рабочего места переводчика, обеспечивая при этом получение высококачественного перевода, жестко ориентированного на конкретную предметную область, задачи пользователя и тип документации. Кроме того, такая система может помочь пользователю, не знающему иностранный язык, очень быстро и с небольшими затратами получить приблизительный (грубый) перевод текстов в интересующей его области знаний, перевод, достаточный для понимания информации, передаваемой текстом на иностранном языке.
Общие требования к практическим системам
машинного перевода (МП)
· Устойчивость работы системы . Система МП должна давать результат, который можно использовать даже в случае дефектов исходного материала и неполноты словарного обеспечения.
· Тиражируемость системы . Система должна иметь достаточно простые программные и лингвистические средства для расширения областей ее применения.
· Адаптируемость системы . Система МП должна иметь средства настройки на потребности конкретных пользователей и особенности обрабатываемых документов.
· Оптимальность временных параметров . Скорость перевода текстов должна соответствовать либо объему поступающей в единицу времени информации, либо нормам работы пользователей.
· Комфорт пользователя . Сервисные средства системы должны обеспечивать удобство работы пользователя во всех возможных в системе режимах работы.
При работе с конкретной системой машинного перевода нужно помнить, что перевод осуществляется на нескольких соподчиненных уровнях реализации системы.
К таким уровням в общем случае относятся:
· уровень автоматического предредактирования текста;
· уровень лексико-морфологического анализа;
· уровень контекстного анализа и анализа групп;
· уровень анализа функциональных сегментов;
· уровень анализа предложений;
· уровень синтеза выходного текста;
· уровень автоматического постредактирования.
