Warning: main(/home/gurugail/header.php) [function.main]: failed to open stream: No such file or directory in /home/gurugail/NLP/page.html on line 23
Warning: main(/home/gurugail/header.php) [function.main]: failed to open stream: No such file or directory in /home/gurugail/NLP/page.html on line 23
Warning: main() [function.include]: Failed opening '/home/gurugail/header.php' for inclusion (include_path='.:/usr/local/lib/php') in /home/gurugail/NLP/page.html on line 23
|
커뮤니티 게시판 |
|
A.I Section
자연어 처리 |
|
GGOP
GGOP 소개
|
| 기계 번역(MT) | |
|
작성 |
정현철 (lifegear@hanmail.net) |
|
작성 날짜 |
2001.10.25 |
|
개요 |
기계적으로 원 언어를 등가의 목적 언어로 치환 |
|
|
|
기계 번역이란
번역(translation)이란 개략적으로 "어떤 언어(원 언어)의 텍스트를 다른 언어(목적 언어)의 등가의 텍스트로 치환하는 것"으로서 정의할 수 있다. 여기에서 「등가」의 의미는 아래와 같이 번역의 입장에 따라 달라질 수 있다.
[1] 단어와 구조의 등가성을 중시하는 번역
[2] 의미 내용의 등가성을 중시하는
번역
[3] 사회적 이해의 등가성을 중시하는 번역
[1]이 표층적, 형식적 등가성을 중시하는 것에 대하여, [2], [3]은 보다 깊은 의미 레벨의 등가성과 인간의 이해를 포함한 형태에서의 등가성을 중시하는 것이다.
번역의 어려움
[1] 어휘 대응의 차이
한국어에는 "(옷을)
입다", " (안경을) 쓰다", "(모자를) 쓰다", "(신발을)
신다" 등의 "몸에 부착하다" 라는 의미로 대상에 따라 여러
형태의 동사를 사용하고 있지만, 영어에서는 "put on" 으로 표현할 수 있다.
[2] 단어와 구의 대응
한국어의 "탕"이라는
단어는 영어에서는 "hot water"라는 구에 대응한다.
[3] 구조의 차이
영어는 "He wears a
black suit"이지만 한국어는 "그는 검은 셔츠를 입고 있다" 처럼
언어간의 구조(품사 배치의 구조)가 다르다.
[4] 다른 품사간의 대응
한국어의 경우 "자극성
기체"는 명사+ 명사의 나열이며 영어는
"stimulative gas"로 형용사 + 명사로서 같은 의미를 뜻하지만 품사의 사용이
다르다.
[5] 명시적으로 표현하는 정보의 차이
영어에서는
명시적으로 표현되는 수(단수, 복수)의 정보가 일본어나 한국에서는 명시적으로는
표현되지 않는다.
[6] 번역의 요소 합성에 있어 비단조성
"논문"을
번역하면 "paper"이고 "박사의"를 번역하면 "doctoral"이다.
그럼 "박사의 논문"을 번역하면 "doctoral paper"이어야만 되는데
번역에서는 이와 같은 단조성을 가지고 있지 않다. "박사의 논문"은 "doctoral
thesis"가 좀 더 합리적인 영어이다. 이와 같은 특징을 비단조성이라 한다.
기계 번역의 단계
기계 번역은 다음 세 가지 단계로 보통 이루어진다.
[1] 해석
[2] 변환
[3] 생성
이 중 해석, 생성(해석의 역변환)은 하나의 언어에 국한된 처리임에 반하여 변환(transfer)은 두 개의 언어에 걸쳐진 처리이다.
구문 변환 방식
기계 번역 시스템은 크게 구문 변환 방식, 지식형 기계 번역,
그리고 실례형 기계 번역의 방식으로 나눌 수 있다. 지금부터 각각의 방식에 대해
알아보기로 한다. 먼저 구문 변환 방식은 현재의 사용 기계 번역 시스템의
대부분이 채용하고 있으며, 기본적으로 어휘와 문법에 관한 언어적인 지식을 최대한
이용하여 원언어 문장을 해석하고, 이 문장의 내용을 반영한 표현적인 격구조(의존
구조)를
만들고 이를 목적언어의 구조로 변환한 다음 마지막으로 변환된 구조로부터
목적 언어의 표층 표현을 생성하는 방식이다.
그림.
구문 변환 방식에서의 기계 번역 단계
위의 그림은 "그녀는 나를 좋아한다"의 한국어를 "She loves me"의 영어로 번역할 때 구문 변환 방식을 적용한 예를 보여주고 있다. 해석 단계는 입력문에 대하여 내부 구조나 의미를 얻는 것이라 할 수 있으며, 번역 단계는 원언어의 해석결과로 얻어진 격구조(의존구조)를 상대 언어의 격구조(의존 구조)로 변환하는 단계이다. 그리고 마지막으로 생성 단계는 목적 언어의 격구조로부터 문법적으로 옳은 문장을 만드는 단계이다.
그럼 단계별로 조금 더 자세히 알아보자.
해석 단계
아래의 단계는 Mu J/E라는 일영 번역 시스템의 단계에 대해 서술한다. 그러므로 시스템에 따라 단계는 변할 수 있지만, 느낌(^^;)을 전달하기 위해 그냥 책 보고 써 본다. 자연어처리의 통상적인 해석방법과 크게 다르지 않지만 일본어에 맞추어다고 볼 수 있다.
[1] 형태소 해석
입력문을 단어로
분할한다.
[2] 단어의 품사의 애매성 해소
품사가
여러 개 있는 경우, 문내의 문맥을 이용하여 애매성을 해소한다.
[3] 복합어 처리
복합어(전문
용어)는 하나의 단어로 사전에 등록하지만, 그래도 완전하지는 않으므로 이 부분에서
처리한다.
[4] 연용형의 동사 처리
일본어에서는
동사의 연용형(~し, ~하고)을 이용하여 비교적 쉽게 여러 문장을 접속하는 경향이
있다. 이 때문에 한 문장이 매우 길어지게 되어 해석에 있어서 구문적 애매성을 증가시키는
원인이 된다. 따라서 이 단계에서 한 문장을 몇 개의 짧은 문장으로 분할하고 이
문장 단위로 이후의 처리를 한다.
[5] 병렬 명사구의 처리
명사구
병렬은 처리를 복잡하게 하는 원인 중의 하나이다. 여기에서는 각 종 휴리스틱 규칙을
이용한다.
[6] 명사구내의 구조 해석
명사와
명사 사이의 구문적 관계의 해석과 삽입 구조의 해석 등을 한다.
[7] 단문 내의 구조 해석
지금까지의
처리에서 입력문은 동사 하나와 이것이 지배하는 명사구군으로 구성되는 구조까지
분해된다. 여기에서는 동사와 명사 사이의 구문, 의미적 관계를 결정한다.
[8] ~は(~은)의 처리
일본어에서는
조사 "は"는 특이한 행동을 한다. 이 단계에서 Mu 시스템에서는 "は"에
대한 구문적 의미적 역할을 분석한다.
[9] 명사구, 동사구 간의 의미적 관계 분석
지금까지의
처리로 문장의 구문적 구조는 완전히 분석되며, 여기에서는 구문내의 의미적 관계를
해석한다.
[10] 시제, 양상의 해석
문장의
시제와 양상을 해석한다. 동사의 부속어만이 아니라 동사에 지배되는 부사구도 참조하여
결정한다.
변환 단계
구문 변환 방식의 변환부에서는 원언어의 해석결과(격구조)를 상대 언어의 격구조로 변환한다. 이 과정에서는 대략 이하의 두 가지 처리를 한다.
[1] 어휘 변환
단어가 어떠한
통사적, 의미적 환경에서 사용되고 있는지를 조사하여 적절한 역어를 선택한다.
[2] 구조 변환
원언어와 목적언어의
구조가 다른 경우 구조 변환을 한다.
해석 과정에서 얻어진 격구조(의존구조)의 정점(root) 노드에서 출발하여 그 하위 노드에서의 처리를 트리 구조에 따라 재귀적으로 기동한다. 각 노드에서는 그 노드에 있는 단어의 품사와 상위 노드로부터의 결정되는 부분 문법(SG, 원언어에서 목적언어로의 역어 선택 규칙)이 기동된다. 노드가 명사일 경우는 명사의 변환 사전이라는 변환 규칙을 사용하고, 동사일 경우는 동사의 변환 사전을 이용하면서 노드들을 바꾸며, 필요에 따라서는 구조를 바꾸기도 한다.
구문 변환 방식에서의 변환 단계는 너무나 언어에 종속적인 기법들이 적용된다. 그래서 이 단계에서 사용되는 변환 규칙이나 세부 단계들을 제시해도 별 의미가 없을 거 같아 생략한다.
생성 단계
생성 과정에서는 변환 과정으로부터 출력된 격구조를 구구조로 바꾸며, 복수/ 단수의 일치, 시제/양상/법의 조동사에 의한 구체화, 주어와 술어의 수의 일치, 시제이 일치 등을 처리하여 문법적으로 옳은 목적언어를 만든다. 목적언어의 격구조의 정점(root) 노드에서 하위 노드를 향해 재귀적으로 변환의 부분 문법을 적용하며 아래와 같은 처리를 한다.
[1] 생성 사전 검색
[2] 필수격의
생성과 구구조에서의 위치 결정
[3] 임의격의 생성과
구구조에서의 위치 결정
[4] 수동 변형, 혹은 대동사의 사용 결정
[5] 동사구
처리
[6] it ~ that 변형
주어가 긴 경우에 it ~
that 구문을 사용함으로써 읽기 쉬운 영문으로 한다.
[7] 병렬 명사구, 동사의
등위 접속의 축약
중문에서 중복되는 격요소나 병렬
명사구에서 중복되는 수식구를 삭제하기도 하고 대명사화하기도 한다.
[8] 관계절의
변형, 축약
[9] there 구문의 사용
[10] 부사, 전치사의 위치 결정
현재 기계 번역 시스템의 대부분이 위에서 말한 구문 변환 방식을 사용하고 있는 이유는 Mu J/E에 의해 비교적 확립된 자연언어처리 방식이기 때문이다. 하지만 언어에 너무 종속적이고 시스템을 개량해 가는 것이 매우 어렵다. 이와 같은 문제의 해결을 위해 지식형 기계번역 방식과 실례형 기계번역 방식 등의 여러 가지가 연구되고 있다.
지식형 기계 번역 방식
구문 변환 방식 외에 기계 번역 방식으로서 제안되는 것 중의 하나가 지식형 기계번역(Knowledge-Based Machine Translation, KBMT)이다. 지식형 기계 번역 방식의 입장은 원언어에서 목적언어로 번역할 때 중간 과정에서 개념의 형성이 필요하다는 것이다. 구문 해석방식는 원언어의 격구조를 목적언어의 격구조로 바꾸는 과정에서, 언어에 종속적인 규칙을 적용하기 때문에 올바른 번역이 될 수 없다고 보는 것이다.
예를 들면, 영어의 "one"이라는 명사는 "하나", 정수 "1"이라는 의미 이외에 대명사적 추상물과 구체물을 가리키는 "것"이라는 의미, 일반적인 "사람"이라는 의미 등을 가진다. 만약 "one"이 동사의 목적어로 온 경우, 이것이 구체적으로 무엇을 가리키는가를 모르면 동사의 역어를 적절하게 구분할 수 없는 경우가 있다. 아쉽게도 구문 변역 방식에서는 단지 문장에 사용된 단어 사이의 의미적 정합성만을 검증할 수밖에 없다. 왜냐면 문장에서 사용된 개념으로의 접근이 아니라 사전적 의미만을 확인하기 대문이다. 다시 말해, one을 적절히 변환하려면 대상 분야에 대한 지식이 구성되야만 한다.
지식형 기계 번역(KBMT)은 대상 분야의 지식을 효율적으로 개념 체계화하고, 이를 이용하여 추론하는 것으로 해석/생성 시의 애매성 해소를 강력히 하는 고품질의 번역을 목적으로 하고 있다. 이와 같은 시스템을 실현하기 위해서는 대상 분야 지식의 효율적인 지식 획득, 문의 의미를 표현할 수 있는 개념의 설계, 개념 표현과 언어와의 대응 등의 문제를 해결해야 한다. 아래는 계산기 매뉴얼의 영일 기계 번역 시스템인 Shalt2를 예로 하여 설명한 것이다.
번역 방식
지식형 기계 번역(KBMT)의 세 단계는 해석, 개념 변환, 그리고 생성이다. 우선 원언어의 입력문을 해석 모듈로 해석하고 개념 표현으로 사상한다. 얻어진 개념 표현을 목적 언어에 맞는 개념 표현으로 변환한다. 마지막으로 생성 모듈이 해석과 역방향 처리를 함으로써 개념 표현에 대응하는 목적 언어의 문을 생성한다. 여기에서 변환 모듈은 개념 표현간의 변환을 하는 것이지 구문 변환 방식에서처럼 두 개의 언어 사이에 걸친 처리를 하는 것은 아니다. 아래 그림은 KBMT의 과정을 도식화한 것이다.
그림. KBMT의 번역 방식
개념 정의(표현)
Shalt2에서 정의하는 개념 체계는 자연언어 클래스라고 불리는 것이며, 직관적으로는 통상의 단어가 갖는 어의를 표현하는 개념으로 구성된다. 예를 들어, 영어 단어 "define"은 아래와 같이 개념표현이 된다.
(defclass *define-1
(is-a (value *-action-))
(:agent (sem *human))
(:theme (sem *-object-))
(:goal (sem *-concept-)))
이 예는 영어 단어 "define"이 가지고 있는 여러 가지 의미 중에서의 하나의 의미에 대한 개념 정의이며, *define-1이라는 이름으로 정의하고 있다. 이 개념의 상위 개념(is-a)은 *-action-이며 속성이나 수식구를 나타내는 슬롯(slot)은 agent, theme, goal을 가지며, 각 슬롯에는 제약(constraint)을 나타내는 값들이 있다. 제약(constraint)이란 가령 agent는 human을 뜻하는 개념이 와야 된다라는 것이다.
개념의 정의에서 중요한 역할을 하는 것이 상위 개념에서 하위 개념으로의 슬롯의 상속이다. 각각의 개념은 상위 개념으로서 지정된 개념의 슬롯과 그 제약(constraint)을 기본적으로 상속받으며, 물론 재정의도 할 수 있다.
개념 변환
KBMT에서 이용되는 개념 표현은 원언어와 목적 언어의 단어를 포함하지 않는다는 점에서 중간언어라고 간주할 수 있지만, 이 개념 표현이 완전히 중립적인 표현인 것은 아니다. 그러므로 원언어의 문장에서 그것에 대한 개념 표현이 얻어졌을 때, 그 개념 표현이 그대로의 형태로 목적 언어의 문장을 생성할 수 없는 경우가 있다. 이와 같은 경우를 대처하기 위하여 어떤 개념 표현을 근사적인 다른 개념표현으로 변환할 필요가 있다. 이것을 개념 변환이라고 한다. 개념 변환은 하나하나의 개념 클래스별로 적용되고, 그 외에는 이하의 3종류가 있다.
[1] 사영(射影) : 특정 슬롯(slot)의 삭제
[2] 범용화
: 어떤 개념을 그 상위 개념으로 치환한다.
[3] 특수화
: 어떤 개념을 그 하위 개념으로 치환한다.
사영은 수(단수, 복수)에 관한 정보를 삭제하는 경우에 자주 사용되며, 범용화는 원언어로 표현되는 개념이 너무 상세하여 목적언어로는 개념이 적합치 않을 때에 하며, 특수화는 반대의 경우에 사용된다.
KBMT의 특징
[1] 대상 분야 지식의 이용
KBMT는
언어외 지식을 개념 체계로 하여 상세하게 정의할 수 있다. 다시 말해 번역 때 대상
분야의 지식을 적용하기 용이하다.
[2] 지식 표현과 상속(inheritance)
[3] 중간 언어적 방식의 개념 표현
순수한
의미에서의 중간 언어는 모든 언어의 등가인 문장의 의미가 그 중간 언어 상에서는
하나의 중립적인 표현이 되는 것을 요구하지만 사실상 이것은 불가능하다. 하지만
개념 표현은 어느 정도 언어간의 간격을 메우는 기능을 한다.
[4] 추론과의 통합
개념 표현
상에서 개념의 추론이 가능하다.
[5] 다언어간 번역
다언어간
번역을 실현할 때에는 2가지 언어 모두에 관련된 처리 모듈이 적으며, 정의한 개념
지식이 모든 언어의 해석/생성 모듈에서 이용할 수 있기 때문에 다언어간 번역은
KBMT가 유리하다.
실례형 기계 번역 방식
또 다른 번역 방식은 실례형 기계 번역(Example-Based machine Translation, EBMT)이다. 이 방식은 번역 품질의 향상과 함께 시스템의 구축과 개량을 용이하게 하는 특징이 있다.
번역 방식
실례형 기계 번역은, 어떤 문장과 비슷한 문장은 원래의 문장과 주로 비슷한 구조나 의미로 번역된다는 기본 원리에 입각하고 있다. 이와 같은 번역 방식은 그다지 어학에 능통하지 않는 인간이 하는 방식과 유사한 방식이다. 하나의 예로서 다음과 같은 문장을 한국어로 번역해보자.
원언어 : Swimming is good for you.
이 문장을 번역할 경우 실례형 기계 번역은 비슷한 예문이 없는지 찾아 본다. 만약 아래와 같은 번역 예제를 발견하였다고 가정하면,
Ex. Vegetables are good for you > 야채는 몸에 좋다.
목적언어 : 수영은 몸에 좋다.
처럼 비교적 간단히 번역을 할 수 있다. 실례형 기계 번역은 이와 같은 과정으로 번역을 하는 방식이다. 위의 예는 번역 대상을 문장으로 하였지만, 구나 절에서도 역시 적용 가능함을 구태여 말하지 않더라도 알 수 있으리라 믿는다.(?)
특징
실례형 기계 번역의 취지는 "추상화된 규칙에 의지하는 것이 아니라 오히려 풍부한 용례나 실례를 적극적으로 이용하자."라는 것이며, 그것은 "실례(용례)와의 유사도 계산에 의해서 해를 선택하는 방법"이다.
개개 단어의 개별성과 방대한 다의성을 가진 자연언어라는 대상은 소수의 추상화된 규칙 집합을 이용하는 것보다는 풍부한 실례와 용례를 이용하는 것이 유효할 것이다.
라는 방법론적 인식에서 실례형 기계 번역 방식은 탄생(?)하게 되었다. 실례형 기계 번역은 어떤 의미에서는 최근의 컴퓨터 하드웨어 기술의 진보에 힘입은 바가 크다. 즉, 거대한 기억 공간과 빠른 계산 능력을 이용하여, 실제적으로 EBMT가 실현된 것이다.
|
참조 |
|
|
자연언어처리, Makoto Nagao 저, 황도삼, 최기선, 김태석 공역,
컴퓨터 과학 시리즈, 홍릉과학 출판사
|
Downloads |
|
|
|
Reference |
|
|
||
|
|
||
|
