Warning: main(/home/gurugail/header.php) [function.main]: failed to open stream: No such file or directory in /home/gurugail/NLP/page.html on line 23
Warning: main(/home/gurugail/header.php) [function.main]: failed to open stream: No such file or directory in /home/gurugail/NLP/page.html on line 23
Warning: main() [function.include]: Failed opening '/home/gurugail/header.php' for inclusion (include_path='.:/usr/local/lib/php') in /home/gurugail/NLP/page.html on line 23
|
커뮤니티 게시판 |
|
A.I Section
자연어 처리 |
|
GGOP
GGOP 소개
|
| 형태소 해석 | |
|
작성 |
정현철 (lifegear@hanmail.net) |
|
작성 날짜 |
2001.09.03 |
|
개요 |
... |
|
|
|
형태소 해석이란?
형태소 해석의 목적은 주어진 문을 형태소로 분해하고, 각각의 형태소에 품사 등을 결정(품사 태킹)하는 것이다. 다시 말해 문장을 사전에 등록되어 있는 최소의 단위로 분해한다는 말이다. 일단 최소 의미를 가진 형태소로 분해가 되어야지만 자연어처리가 가능하기 때문에, 자연어 처리를 위한 제 1단계는 보통 형태소 해석의 단계이다.
자연언어는 형태소 외에 다음과 같은 계층적 구조를 가지고 있다.
|
인간의 의미(의지) 전달에서 음성을 어떻게 사용하는가를 기초로 생각한 음의 단위 |
|
의미를 가진 최소의 언어 단위, 하나 이상의 음소로 된다. |
|
하나의 의미의 총합을 이루며, 문법상 하나의 기능을 가진 최소의 언어 단위, 하나 이상의 형태소로 구성된다. |
|
전달하고자 하는 내용을 가지며, 완결된 언어 단위, 하나 이상의 단어로 된다. |
|
전달하고자 하는 내용을 표현하기 위하여 문이 순서대로 모여진 집합. 인접하는 문장 상호간에는 어떤 종류의 관계성이 존재한다. |
형태소란 의미를 가진 최소의 언어 단위를 일컫지만, 언어마다의 고유 특성으로 인해 애매한 부분이 있다. 영어의 경우에는 형태소는 단어가 어근(radical)과 접사(affix)로 분류되기 때문에, playing는 play(어근) + ing(접사)로 2형태소로 구성되었다고 말할 수 있고, 일본어나 한국어는 활용어의 발달로 형태소의 기준이 애매하지만, 보통 사전에 등록되어 있는 항목으로 보면 가장 근접한 기준이라 할 수 있다.
그럼 고려대학교 자연어처리에서 분류한 형태소 해석의 예를 보자. 예를 보면 형태소가 무엇인지, 그리고 해석이 무엇인지를 좀 더 쉽게 개념 파악이 될 것이다.
|
입력 문장 |
나는 너를 사랑한다. |
|
|
형태소 해석 |
나는 |
나/VV+아는/EFC 나/VX+아는/EFC 낳/VV+아는/EFC 나/NNCG+는/PX 나/NPP+는/PX 나/VV+는/EFD 나/VX+는/EFD 날/VV+는/EFD |
|
너를 |
너/NPP+를/PO 너르/VJ+ㄹ/EFD |
|
|
사랑한다. |
사랑/NNCV+하/XSVV+ㄴ다/EFF+./SS. | |
위와 같이 간단한 문장이라도 사전에 등록되어 있는 항목으로 형태소 해석을 하면 경우의 수가 상당히 많다. 이것이 바로 자연어처리의 어려움 중의 하나라고 할 수 있다. 컴퓨터는 인간이 가지고 있는 언어에 대한 관념이나 개념이 없기 때문에 단지 공식이나 알고리즘에 의존하기 때문이다. 실제 그럼 형태소 해석을 어떻게 하는지 크게 일본어의 경우와 영어의 경우로 나누어 생각해 보자.
일본어의 형태소 해석
일본어문의 경우, 어떤 타입(품사, 활용형)의 2어가 연속해서 문 중에 나올 수 있는가의 조건은 명확하다. 2어의 연접 가능성을 규칙(제약)으로 주고, 그것을 참조하면서 입력문을 단어의 나열로 변환한다고 하는 방법이 일본어의 경우 가장 기본적인 형태소 해석의 방법이다. 형태소 해석는
[1] 사전을 참조하여 입력문 중의 각 위치에서 시작하는
단어를 찾는다.
[2] 연접 가능성을 체크하면서 추출된 단어를 연결해 간다.
위의 두 가지 처리를 반복하여 실현된다. 이를 위해서는 아래와 같이 두 가지 사전을 준비하여 한다.
|
: 단어의 품사, 읽기, 활용형 등을 지정한다. |
|
: 연접 가능한 2어의 타입(단어, 활용형)을 지정한다. |
이들 사전은 전처리에 의해 형태소해석을 고속으로 할 수 있게 변환된다. 단어 사전은 트라이 구조 등으로 변환되고, 연접 가능성 사전은 2어의 타입(type)은 각각 행과 열로 구성되고, 행렬값은 2어의 타입이 연접 가능하면 1로, 그렇지 않으면 0으로 채워진 행렬로 변환된다. 예를 들어, 타입(type)이 n개이면 n × n의 행렬로 변환되고 연접 가능성의 여부에 따라 1 또는 0으로 채워진다.
그리고 형태소 해석의 결과들중에서, 다이내믹 프로그래밍(Dynamic programming)의 일종인 비텔비(Viterbi) 알고리즘을 사용하여 코스트(cost)가 최소가 되는 최적의 결과를 선택하기도 한다.
영어문의 형태소 해석
영어의 경우는 형태소의 구별이 비교적 쉽고, 일본어의 형태소 해석처럼 연접관계가 명확히 존재하지 않지만, 하나의 단어에 대해서 여러 가지 품사가 가능하기 때문에, 영어에서의 형태소해석이라 함은 주로 품사를 추정하는 것을 말한다. 이 같은 처리를 품사 부여 혹은 품사 태깅(tagging)이라고 한다. 품사 부여의 척도에는 다음 두 가지가 있다.
|
|
이를 위해 수학적 모델로써, 은둔 마르코프 모델(HMM)을
사용한다. 단어/품사에 대한 은둔 마르코프 모델인 경우는 외부에서 관측되는 것은
단어열이지만, 그 안에 내부 상태로서 품사의 천이가 있다고 생각할 수 있다.'은둔'이란
외부에서 보이지 않는 내부 상태가 존재하는 것을 의미한다. HMM의 적용 예를 살펴보자.
아래 그림은
그림. 단어/품사의 은둔 마르코프 모델(HMM)
Time flies like an arrow
라는 문장을 품사 태깅할 때 사용가능한 HMM이다. 위 그림에서 φ는 문두를 가르킨다. 그러면 위 문장을 실제 HMM을 이용해서 어떻게 하는지 단계를 따라 가보자.
[1] φ에서 출발해서 최초 단어는 Time이다. 사전을 검색하면
time은 명사(N)이다. ∴ Time/N, HMM 노드 N으로 이동
[2] 다음 단어는 flies,
역시 사전을 찾아보면 날다라는 의미의 동사(V)와 파리라는 의미의 명사(N)가 될
수 있다. 위 HMM의 노드 N 다음에 또 다시 N이 올 확률은 0.38, N 다음에 V가 올
확률은 0.31이다. 쉽게 말하면 품사 태킹을 할 때 N N...일 확률이 N V... 보다는
높다는 것이다. 그럼 flies가 명사로 품사 태깅될까? 그렇지 않다. HMM의 N 노드
안의 확률을 보자. N 노드 안을 보면 flies가 명사일 확률이 상대적으로 낮은 편이다.
그러므로 flies는 동사로 태깅된다. (∴ flies/V, HMM의 노드 V로 이동).
단계 [1], [2]처럼 문말까지 처리하면 품사 태킹(tagging)이 완결되는 것이다. 엄밀히 말하면
HMM의 상태 추이(transition) 함수 = 품사 추이의 확률 × 단어가 그 품사일 확률
이다. 수학적으로 표현하면
단, C는 품사, w는 단어를 가리킨다. 여기서의 요점은 HMM의 변이 함수가 어렴풋하게, 그리고 느낌으로(^^;) 만들어진 것이 아니고 확률 이론으로부터 수학적으로 이끌어낸 식이라는 것이다.
지금까지의 형태소 해석을 정리하면, 사전에 등록되어 있는 항목을 기준으로 어느 단어/품사의 뒤따름이 확률적으로 높은가를 판단하여 문장을 적절히 분해하는 과정이 형태소 해석이며, 보통 자연언어 처리의 제 1단계로 형태소 해석이 처리된다.
|
Reference |
|
|
||
|
|
||
|
