Warning: main(/home/gurugail/header.php) [function.main]: failed to open stream: No such file or directory in /home/gurugail/NLP/page.html on line 23
Warning: main(/home/gurugail/header.php) [function.main]: failed to open stream: No such file or directory in /home/gurugail/NLP/page.html on line 23
Warning: main() [function.include]: Failed opening '/home/gurugail/header.php' for inclusion (include_path='.:/usr/local/lib/php') in /home/gurugail/NLP/page.html on line 23
|
커뮤니티 게시판 |
|
A.I Section
자연어 처리 |
|
GGOP
GGOP 소개
|
| 코퍼스 (Corpus) | |
|
작성 |
정현철 (lifegear@hanmail.net) |
|
작성 날짜 |
2001.10.02 |
|
개요 |
... |
|
|
|
자연언어처리의 대상은 언어 데이터이므로 언어 데이터를 대량으로 수집하고 언어 현상의 조사, 통계처리 등을 하는 것은 매우 중요하다. 이와 같은 목적으로 수집된 언어 데이터를 코퍼스(corpus)라고 부른다. 코퍼스에는 소설, 잡지, 신문 기사, 사전 등을 모은 텍스트 코퍼스와 대화, 인터뷰, 낭독 등을 수집한 음성 코퍼스의 2종류가 있다.
코퍼스에 부가하는 정보
코퍼스에 부가하는 정보는 텍스트의 논리적 구조와 텍스트의 언어적 정보로 나눌 수 있다.
-
논리적 구조
- 소설의 경우, 제목명, 저자명, 차례, 본문 등으로 이루어지며,
본문은 장, 절, 단락, 문장으로 이루어지는 계층적 구조를 가지고 있다.
이와 같은 텍스트의 논리적 구조를 통일한 형식으로 명시하는 방법으로서, SGML(Standard
Generalized Makeup Language)이라 불리는 논리구조 기술의 언어를 이용하는
것이 일반적이다. SGML은 HTML의 모체라 할 수 있으며, 생김새가 비슷하다. 예를
들면, 소설의 제목명 부분에
- <제목명> 자연언어처리 </제목명>
- 과 같은 형태로 논리적 구조를 명시할 수 있다.
-
언어적 정보
- 언어적 정보로서는 문의 형태소, 구문, 의미 정보 등이 있다. 이들 정보는 컴퓨터로 자동부여하는 것도 가능하지만, 형태소해석은 96~99% 정도, 구문해석은 60~80% 정도이므로 자동부여를 한다고 하더라도 그 후에 수작업이 아무래도 필요하게 된다.
Penn Treebank의 작성 과정
대표적인 코퍼스로서 펜실베니아 대학의 Penn Treebank가 있다. Penn Treebank 1992년판은 약 490만 어의 미국 영어의 텍스트 코퍼스이며 전체 텍스트에 형태소 정보가, 그 중의 약 290만 어의 구문정보가 부여되어 있다. 이러한 정보를 Penn Treebank는 아래와 같은 과정으로 부여하였다.
그림.
Penn Treebank의 구성 과정
우선 생(raw)코퍼스에 대하여 자동으로 형태소해석(품사부여)를 하며, 그 결과를 수작업으로 수정한다. 이 수정작업을 부가한 코퍼스가 품사부여 코퍼스이다. 수정 작업에는 마우스를 이용하는 사용자 인터페이스 프로그램이 준비되어 있으며, 오류율은 2~6% 정도이다. 수작업으로 수정을 하더라도 완전히 오류를 제거하는 것은 불가능하다.
다음으로 구문해석 프로그램에 의해 문의 구조를 조사하고 구문 태그(tag)를 부여한다. 여기에서 이용되는 구문해석 프로그램은 차후 수작업의 부담을 가능한 줄이기 위해 확실한 부부만의 구구조를 정리하여 애매성이 있는 부분은 부분 구조트리 그대로 출력한다.즉, 애매성이 있는 부분은 문 전체에 대한 하나의 해석트리가 아니라 부분적인 구, 절에 대한 부분 해석트리의 나열이 된다. 인간의 수작업은 그 결과를 「수정」하는 것이 아니라 하나의 해석트리에 「조합」시키는 것이다. 구문해석의 수작업에도 역시 마우스를 이용하여 간편하게 작업할 수 있게 되어 있다.
Penn Treebank에서는 의미정보를 부여하고 있지 않다. 이는 부여해야 할 의미정보의 설정이 어렵다는 것, 이를 부여하는 인간의 작업부담이 너무 크다는 것이 원인이 된다. 이에 대하여 일본의 전자화 사전프로젝트에서 작성된 EDR 코퍼스에서는 Penn Treebank와 거의 비슷한 방식으로 형태소, 구문정보를 부여한 후, 거기에 의미정보를 수작업으로 부여했다.
코퍼스의 이용
각종의 정보를 부가한 코퍼스는 자연언어처리의 모든 면에서 사용될 수 있다.
-
인간에 의한 언어지식의 기술
- 인간이 사전, 문법 등의 언어 지식을 기술할 때는 언어 데이터를 이용하여 실제 언어현상을 조사하는 것이 우선 필요하게 된다. 이와 같은 조사를 대규모로 하기 위해서는 컴퓨터로 이용할 수 있는 텍스트 코퍼스가 없어서는 안된다. 예를 들어, 영국의 대표적 사전인 COBUILD English Dictionary의 편찬에서는 영어 코퍼스를 수집하고 이를 컴퓨터 처리하여 단어의 색인을 작성하고, 그 결과를 기초로 하여 표제어의 선정, 어의의 설정, 용례의 부여 등이 행해졌다.
-
컴퓨터 시스템에 의한 자연언어처리
- 형태소정보, 구문정보가 부가된 코퍼스가 있으면, 형태소해석, 구문해석을 위한 우선규칙의 파라미터를 계산할 수 있다. 그리고 입력문과 유사한 문을 코퍼스 중에서 찾아내고 그 문에 부가되어 있는 각종 정보를 입력문의 해석에 이용할 수도 있으며, 또한 코퍼스로부터의 학습에 의해 문법, 격프레임등의 언어지식을 자동적으로 획득할 수도 있다.
-
시스템 처리결과의 평가
- 자연언어처리 시스템의 해석 결과를 평가하는 경우에도
코퍼스를 이용할 수 있다. 공통의 코퍼스를 이용하여 평가실험을 함으로써 다양한
자연언어처리 시스템에 대하여 어느 정도 객관적인 평가를 내리는 것이
가능하게 된다. 각종의 정보가 부가된 코퍼스를 아래와 같은 단계로 평가실험을
자동적으로 할 수도 있다.
- [1] 일단 코퍼스로부터 어떤 정보를 제거한다.
- [2] 그 정보를 자연언어처리 시스템에 의해 자동적으로 부여한다.
- [3] 처음에 코퍼스에 부여되어 있던 정보와 시스템에 의해 부여된 정보를 비교한다.
-
이상으로 자연언어처리에 필요한 언어데이터의 수집인 코퍼스에 대하여 설명을 마친다.
|
Reference |
|
|
||
|
|
||
|
