Warning: main(/home/gurugail/header.php) [function.main]: failed to open stream: No such file or directory in /home/gurugail/NLP/page.html on line 23
Warning: main(/home/gurugail/header.php) [function.main]: failed to open stream: No such file or directory in /home/gurugail/NLP/page.html on line 23
Warning: main() [function.include]: Failed opening '/home/gurugail/header.php' for inclusion (include_path='.:/usr/local/lib/php') in /home/gurugail/NLP/page.html on line 23
|
커뮤니티 게시판 |
|
A.I Section
자연어 처리 |
|
GGOP
GGOP 소개
|
| 정보의 구조화와 검색 | |
|
작성 |
정현철 (lifegear@hanmail.net) |
|
작성 날짜 |
2001.11.4 |
|
개요 |
전자화된 방대한 정보 중에서 원하는 정보를 획득하는 방법 |
|
|
|
전자화된 방대한 정보 중에서 원하는 정보를 얻기 위한 기술은 검색, 분류, 가공의 세 가지로 구별할 수 있다. 검색은 문자 그대로 원하는 정보를 찾아내는 것이다. 분류는 미리 정보를 내용에 따라 분류해 둠으로써 구하는 정보를 찾아내기 쉽도록 하는 것이다. 가공은 정보를 가공해서, 정보의 획득을 쉽게 하는 것이다. 본 내용은 이들의 기술에 대해 설명한다.
|
내용 |
|
|
색인어(index)를 이용한 정보 검색
다수의 정보 중에서 원하는 정보를 찾아내는 것을 일반적으로 정보 검색(information
retrieval)이라 부른다. 아래 그림은 정보 검색의 개념을 도식적으로 나타낸 것이다.
검색자인 인간이, 예를 들어, "문법 학습에 관한 서적과 논문을 찾고 싶다."라고
생각한다면, 이것을 검색 의도라 부른다. 한편 검색의 대상이 되는 것은 문서군이다.
정보 검색 시스템은 사용자의 검색 의도와 이들의 문서군을 조회하여 그 의도에
적합한 것을 찾아내는 것이다.
그림. 정보 검색의 개념도
여기에서 고려할 문제가 검색 의도와 문서의 조회이다. 첫 번째는 검색 의도에 관한 문제이다. "문법 학습에 관한 서적과 논문을 찾고 싶다"와 같은 자연언어의 글로 표현하고 있지만 이와 같은 자연어를 시스템이 이해하고 검색 의도를 파악해야만 가능하다는 것이다. 두 번째는 문서군에 관련된 문제이다. 이들도 자연언어의 문장으로 구성되는 것이고 결국 컴퓨터가 그 문장 내용을 이해하는 것은 매우 어려운 일이다.
따라서 검색 의도와 문서를 그대로 조회하는 것이 아니라 처리하기 쉬운 중간적인 매체를 설정하고, 이를 이용하여 조회함으로써 해결할 수 있다. 중간적인 매체로서 단어나 복합어의 집합을 이용하는 것이 일반적이다. 즉,
[1] 각 문서에 대해 그 문서의 내용을 나타내는 색인어(index
term)를 할당한다.
[2] 검색자는 검색 의도를 색인어들의 조합으로 표현한다.
이렇게 표현된 검색 의도를 검색 질문(query)이라 부른다.
[3] 각 문서에 붙여진
색인어 집합과 검색자가 부여한 검색 질문의 조회를 통하여 해당 문서를 찾는다.
이 방법의 근본 개념은 "텍스트가 표현하고 있는 내용을 어의 집합이라는 형태로 근사적으로 표현할 수 있다"라는 사고 방식이 깔려 있다. 기계 처리라는 관점에서 볼 때, 텍스트 내용이라는 것은 받아들이기 어려운 것이며, 이것을 직접 처리하는 것은 곤란하기 때문에 근사적으로 표현하여 검색 의도와 유사한 문서군을 찾아내는 것이다.
야후를 비롯한 수많은 검색 사이트도 비슷한 방법으로 검색을 하지 않을까 싶다. 미리 웹페이지에 대하여 색인어를 부여하고 그 정보를 DB로 관리하며, 검색자가 검색어를 치면 DB에서 검색하여 결과를 보여 줄 것이라는 생각이 든다. 아무리 복잡한 시스템도 근본적 원리나 방법은 크게 벗어날 수가 없다.
색인어(index) 검색의 확장
색인어 검색의 크게 세 가지 정도로 확장할 수 있다.
[1] 검색 질문으로 복수의 색인어가 동일문 내에
존재하는 것과 인접하여 존재하는 것을 지정할 수 있는 확장이다. 이를 위해선
색인어가 포함되어 있는 문장 정보를 부가함으로써 실현할 수 있다.
[2] 색인어에
가중치를 도입하는 것이다. 어떤 문서에 붙여져 있는 색인어에, 중요도를 반영하는
가중치를 부가할 수 있다.
[3] 동의어, 유사어의 검색이다. 예를 들어 "문맥
자유 문법"이라고 검색하면, 사전을 찾아 "문맥 자유 문법"과 동의어인
"2형 문법"을 검색 질문에 자동으로 추가하는 것이다. 이와 같은 시스템은
국내에는 엠파스가 있다.
자동 색인어 부여
앞에서 언급한 색인어 검색은 각 문서에 대해 미리 색인어들이 할당되어 있어야만 한다. 이들 색인어를 물론 수작업으로 할 수도 있지만, 문서의 수가 많아지면 수작업에 의한 방법으로는 어렵다. 이 때문에 기계 처리에 의한 자동 색인어 부여 방법이 필요하다.
자동 색인어 부여의 기본적인 개념은 " 색인어 부여의 대상이 되는 문서에 출현하는 단어 중에서 그 문서의 내용을 대표하는 단어를 선택한다." 라는 것이다. 구체적인 색인어 부여 방법을 설명하기 전에, 검색 시스템의 평가 지표에 대하여 알아 보자. 평가 지표가 있어야 색인어를 그 문서에 대해 적당히 부여했는지를 판단할 수 있기 때문이다. 평가 지표는 재현율(recall, R)과 정확률(precision, P) 두 가지이다.
재현율은 사용자가 원하는 문서가 어느 정도 검색되는가 하는 것이며, 정확률은 검색된 문서 중에서 사용자가 원하는 문서가 어느 정도 검색되는가를 나타낸다. 이상적으로 R, P값이 1에 가까운 것이 바람직하지만, R, P는 역비례(trade off) 관계가 성립된다. 즉, R이 올리려면 P는 내려가고, P를 올리려면 R이 내려간다.
단어의 빈도 이용
자동 색인어 부여의 기본적인 방식은 색인어 부여의 대상이 되는 문서에 출현하는 단어 중에서 그 문서의 주제와 관련된 단어를 선택하는 것이다. 가령 "한국어의 문맥자유문법의 학습"을 주제로 한 논문이 있다고 하자. 이 논문에서는 "문맥자유문법", "학습"이라는 단어는 색인어로서 사용될 수 있을 것이다.
문서의 주제와 관련된 단어는 어느 정도 높은 빈도를 유지한다. 하지만 어떤 문서내의 단어의 빈도를 계산해 보면, 대다수의 고빈도어는 한국어에서는 조사와 보조동사, 영어에서는 관사와 전치사라는 소위 기능어(function word)이다. 이들 단어는 그 문서의 주제와 관계없이 모든 문서에서 고빈도어로서 나타난다. 이에 대해 내용어(content word)는 기능어 다음으로 빈도가 높은 단어들이며, 문서의 주제가 다르면 이 그룹에 나타나는 단어가 다르다는 성질이 있다. 따라서 문서의 주제와 관련된 단어인 중빈도어(내용어)를 색인어로서 추출하는 방법은 다음과 같다.
[1] 기능어 사전을 준비하여 그 문서에 나타나는 기능어를
삭제한다. 이와 같이 색인어로서 선택하지 않는 단어를 스톱 워드(stop word)라 부른다.
[2]
스톱 워드 이외의 모든 단어에 대해 단어 Tj의 문서 Di에서의 빈도 tfji를 계산한다.
[3]
어떤 값 N을 택하여, tfji > N을 만족시키는 모든 단어 Tj를 문서 Di의 색인어로서
할당한다.
위와 같은 단순한 방법으로도 검색이 어느 정도는 실현될 수 있다. 그러나 이 방법은 위에서 제시한 지표 중 재현율 R을 크게 할 뿐, 정확률 P에 대해서는 크게 고려하지 않은 것이다. 쉽게 말해서, "검색의 결과로써 검색자가 의도한 문서이외의 문서가 포함될 확률이 상당하다"라고 설명할 수 있다.
정확률 P를 크게 하기 위해서는 부여된 문서 집합의 특성을 고려하여 그 문서 집합 중에서 제한된 문서에만 높은 빈도로 나타나는 단어를 선택할 필요가 있다. 이를 실현하는 방법은 문서 빈도의 역수(inverse document frequency)를 이용하는 방법이 있다. 지금 N개의 문서로 된 문서 집합이 주어졌다고 하자. 이때 어떤 단어 Tj의 문서 빈도 dfj라는 것은 그 단어가 출현하는 문서 수로서 정의된다.
tfji = 문서 내의 단어
빈도
dfj = 단어 Tj를 포함하는 문서 수
dfj 가 적으면, 그 단어가 검색 질문에 해당하는 문서 집합을 좁힐 수 있으므로, 색인어로서의 바람직한 지표로서 문서 빈도의 역수를 이용하면 된다. 표준적으로 이용되는 지표는 log(N/dfj)이다. 이 지표와 tfji를 조합하면, 문서 Di에서 단어 Tj를 색인어로서 채용할 것인지 아닌지를 결정하는 색인어 지표는 다음과 같다.
색인어 지표 wji = tfji · log(N / dfj)
이 값은 문서 Di에서 단어 Tj의 빈도 tfji 가 높고, 동시에 그 단어의 문서 빈도 dfj가 낮은 경우에 큰 값을 갖는다. 이 값으로 색인어의 중요도를 나타내는 가중치로서 이용할 수 있다.
텍스트 분류
정보가 미리 어떤 분류에 따라 정리되어 있다면, 그 안에서 필요한 정보를 찾는 것은 비교적 쉽다. 따라서 정보를 분류하는 것은 정보 액세스를 지원하는 하나의 방법이라 생각할 수 있다. 텍스트 정보의 분류는 크게 두 가지로 나눌 수 있다. 하나는 미리 주어진 분류에 따라 텍스트를 정리하는 방법이고, 또 하나는 유사 텍스트를 그룹화함으로써 텍스트를 정리하는 방법이다.
선분류 후정리
첫 번째 방법은 미리 주어진 분류에 따라 텍스트를 정리하는 방법으로, 결정된 범주 집합 안에서 그 문서에 적절한 범주를 선택하여 부여하는 것이다. 역시나 이와 같은 범주를 자동적으로 할 수 있어야만 한다. 기본적으로는 색인어를 이용하며, 또는 제목 같은 표층 표현을 이용하여 범주를 결정하기도 한다.
텍스트의 클러스터링(≒ 선정리 후분류)
두 번째 방법은 유사 문서를 자동으로 그룹화하며 텍스트를 정리하는 방법이다. 이 방법은 미리 범주가 주어진 것이 아니고, 분류를 자동적으로 만들어 내는 것이다. 이와 같은 방법은 일반적으로 클러스터링(clustering)이라 부르고, 이를 실현하기 위해서는 클러스터링 알고리즘이 필요하다. 국내 검색 사이트로는 와카노 검색 사이트가 있다. 직접 와카노에서 확인을 하면 클러스터링이 무엇인지를 더 확실히 알 수 있을 것이다.
클러스터링 알고리즘도 여러 종류의 알고리즘이 고안되어 있다. 그 중에서 간단한 계층적 클러스터링 알고리즘이 아래에 적혀있다.
계층적 클러스터링 알고리즘
[1] 각 테스트에 대해 각각 하나의
텍스트로 된 클러스터를 만든다.
[2] 클러스터의 수가 하나가 될 때까지 다음을
되풀이한다.
[2.1] 각각의 클러스터간의 유사도를
계산한다.
[2.2] 가장 유사도가 높은 클러스터
한 쌍을 병합하여 하나의 클러스터로 한다.
클러스터간의 유사도는 클러스터 X와 클러스터 Y에 있어, 클러스터
X에 포함된 텍스트 x들과 클러스터 Y에 포함된 텍스트 y들의 유사도에서 산출된다.
정보의 가공
정보로의 액세스를 지원하는 세 번째 방법은 원래의 정보를 가공하는 것이다. 가공은 다시 정보의 추출과 요약으로 세분화될 수 있다. 원래의 문서에서 중심적인 정보만을 추출하여 데이터화하기도 하고, 원래 문서의 요약을 작성하는 것이 전형적인 예이다.
정보의 추출
어떤 텍스트에 쓰여 있는 정보 중에서, 중심적인 정보만을 추출하는 것을 정보 추출(information extraction)이라 한다. 가령 신문과 잡지의 신제품 발표 기사가 다음과 같을 때,
- 캐논은 객체 지향 시스템, 소프트웨어 "nextstep 3.3J"의 판매를 개시한다. 이 제품의 주된 특징은 다음과 같다. 가격은 사용자용이 980,000원, 업그레이드판이 360,000원, 개발자용이 5,980,000원이다. 7월 17일부터 출하 개시 예정이며, 판매 목표는 2,000개/월이다. (UNIX Magazine, 1995년 6월호에서)
이와 같은 신제품 발표 기사의 중심적인 정보는, 아래와 같은 프레임 형식으로 표현할 수 있다.
|
슬롯 |
슬롯값 |
|
제작사 |
캐논 |
|
연월일 |
1995년 7월 17일 |
|
제품 |
nextstep 3.3J |
|
가격(사용자) |
980,000원 |
정보 추출의 실현에는 여러 가지 방법이 있다. 물론 문장을 구문/의미 해석하여 그 결과를 토대로 하여 프레임의 슬롯을 메울 수도 있지만, 대부분의 경우 패턴 매칭을 이용한다. 위의 슬롯들이 기술되는 공통 형식을 알고 있다면, 패턴 매칭만으로도 간단히 정보 추출이 실현될 수 있다. 예를 들면, "<제작사>는 <제품>의 판매를 시작한다."라는 문장 패턴으로 제작사와 제품의 슬롯값을 찾을 수 있다는 것이다.
텍스트의 요약
앞에서의 정보 추출이 텍스트에서 프레임 형식의 정보를 추출하는 것에 반하여, 추출된 정보를 텍스트라는 형태로 표현할 경우는 요약이라 부른다. 요약이라는 것은 일반적으로어떤 통합 텍스트가 나타내고 있는 의미내용을 아주 짧은 텍스트로 간결하게 표현하는 것을 가리킨다. 기계적으로 이를 처리하는 방법은 주어진 텍스트를 "이해-재구성"의 방법보다는 원래의 문 중에서 중요한 부분만을 남기고, 그 외 부분을 삭제함으로써 요약을 작성하고, 제목이나 차례 등의 텍스트의 그 자체의 구조를 적극적으로 이용한다.
지금까지 정보를 얻기 위한 검색, 분류, 가공의 세 부분에 대해 간략히 살펴보았다. 인터넷 서비스의 초기에는 야후처럼 검색이 주된 서비스였지만 이루었고, 현재의 분류 단계를 지나 멀지 않아서 "정보의 가공"을 적극 서비스하는 인터넷 사이트가 생겨나리라 생각한다.
|
참조 |
|
|
자연언어처리, Makoto Nagao 저, 황도삼, 최기선, 김태석 공역,
컴퓨터 과학 시리즈, 홍릉과학 출판사
|
Downloads |
|
|
|
Reference |
|
|
||
|
|
||
|
