Warning: main(/home/gurugail/header.php) [function.main]: failed to open stream: No such file or directory in /home/gurugail/NLP/page.html on line 23

Warning: main(/home/gurugail/header.php) [function.main]: failed to open stream: No such file or directory in /home/gurugail/NLP/page.html on line 23

Warning: main() [function.include]: Failed opening '/home/gurugail/header.php' for inclusion (include_path='.:/usr/local/lib/php') in /home/gurugail/NLP/page.html on line 23


Ä¿¹Â´ÏƼ °Ô½ÃÆÇ

GGM Ãʺ¸ÀÚ ÄÚ³Ê

°­Á °Ô½ÃÆÇ
Q & A °Ô½ÃÆÇ
Âü°í °Ô½ÃÆÇ
SF ¼Ò¼³
ÀÚÀ¯ °Ô½ÃÆÇ


A.I Section

ÀÚ¿¬¾î ó¸®
Àü¹®°¡ ½Ã½ºÅÛ
½Å°æ¸Á
À¯ÀüÀÚ ¾Ë°í¸®Áò
Robotics
Computer Vision
°ÔÀÓ
Àΰø»ý¸í
Agent
ÀΰøÁö´É ÀÀ¿ë(App.)
±âŸ


 GGOP

GGOP ¼Ò°³
Àΰø»ý¸í ÇÁ·ÎÁ§Æ®(°¡Äª)
Virtual Dog
GGOP ACTIvation
ÆÐÅÏ ÀÎ½Ä ½ºÅ͵ð
OpenCV

(by Google)

ÄÚÆÛ½º(Corpus)
ÄÚÆÛ½º (Corpus)

ÀÛ¼º

Á¤Çöö (lifegear@hanmail.net)

ÀÛ¼º ³¯Â¥

2001.10.02

°³¿ä

...


ÀÚ¿¬¾ð¾îó¸®ÀÇ ´ë»óÀº ¾ð¾î µ¥ÀÌÅÍÀ̹ǷΠ¾ð¾î µ¥ÀÌÅ͸¦ ´ë·®À¸·Î ¼öÁýÇÏ°í ¾ð¾î Çö»óÀÇ Á¶»ç, Åë°èó¸® µîÀ» ÇÏ´Â °ÍÀº ¸Å¿ì Áß¿äÇÏ´Ù. ÀÌ¿Í °°Àº ¸ñÀûÀ¸·Î ¼öÁýµÈ ¾ð¾î µ¥ÀÌÅ͸¦ ÄÚÆÛ½º(corpus)¶ó°í ºÎ¸¥´Ù. ÄÚÆÛ½º¿¡´Â ¼Ò¼³, ÀâÁö, ½Å¹® ±â»ç, »çÀü µîÀ» ¸ðÀº ÅØ½ºÆ® ÄÚÆÛ½º¿Í ´ëÈ­, ÀÎÅͺä, ³¶µ¶ µîÀ» ¼öÁýÇÑ À½¼º ÄÚÆÛ½ºÀÇ 2Á¾·ù°¡ ÀÖ´Ù.

 

ÄÚÆÛ½º¿¡ ºÎ°¡ÇÏ´Â Á¤º¸

ÄÚÆÛ½º¿¡ ºÎ°¡ÇÏ´Â Á¤º¸´Â ÅØ½ºÆ®ÀÇ ³í¸®Àû ±¸Á¶¿Í ÅØ½ºÆ®ÀÇ ¾ð¾îÀû Á¤º¸·Î ³ª´­ ¼ö ÀÖ´Ù.

³í¸®Àû ±¸Á¶
¼Ò¼³ÀÇ °æ¿ì, Á¦¸ñ¸í, ÀúÀÚ¸í, Â÷·Ê, º»¹® µîÀ¸·Î ÀÌ·ç¾îÁö¸ç, º»¹®Àº Àå, Àý, ´Ü¶ô, ¹®ÀåÀ¸·Î ÀÌ·ç¾îÁö´Â °èÃþÀû ±¸Á¶¸¦ °¡Áö°í ÀÖ´Ù. ÀÌ¿Í °°Àº ÅØ½ºÆ®ÀÇ ³í¸®Àû ±¸Á¶¸¦ ÅëÀÏÇÑ Çü½ÄÀ¸·Î ¸í½ÃÇÏ´Â ¹æ¹ýÀ¸·Î¼­, SGML(Standard Generalized Makeup Language)À̶ó ºÒ¸®´Â ³í¸®±¸Á¶ ±â¼úÀÇ ¾ð¾î¸¦ ÀÌ¿ëÇÏ´Â °ÍÀÌ ÀϹÝÀûÀÌ´Ù. SGMLÀº HTMLÀÇ ¸ðü¶ó ÇÒ ¼ö ÀÖÀ¸¸ç, »ý±è»õ°¡ ºñ½ÁÇÏ´Ù. ¿¹¸¦ µé¸é, ¼Ò¼³ÀÇ Á¦¸ñ¸í ºÎºÐ¿¡
 
<Á¦¸ñ¸í> ÀÚ¿¬¾ð¾îó¸® </Á¦¸ñ¸í>
 
°ú °°Àº ÇüÅ·Π³í¸®Àû ±¸Á¶¸¦ ¸í½ÃÇÒ ¼ö ÀÖ´Ù.
¾ð¾îÀû Á¤º¸
¾ð¾îÀû Á¤º¸·Î¼­´Â ¹®ÀÇ ÇüżÒ, ±¸¹®, ÀÇ¹Ì Á¤º¸ µîÀÌ ÀÖ´Ù. À̵é Á¤º¸´Â ÄÄÇ»ÅÍ·Î ÀÚµ¿ºÎ¿©ÇÏ´Â °Íµµ °¡´ÉÇÏÁö¸¸, ÇüżÒÇØ¼®Àº 96~99% Á¤µµ, ±¸¹®Çؼ®Àº 60~80% Á¤µµÀ̹ǷΠÀÚµ¿ºÎ¿©¸¦ ÇÑ´Ù°í ÇÏ´õ¶óµµ ±× ÈÄ¿¡ ¼öÀÛ¾÷ÀÌ ¾Æ¹«·¡µµ ÇÊ¿äÇÏ°Ô µÈ´Ù.
 

 

Penn TreebankÀÇ ÀÛ¼º °úÁ¤

´ëÇ¥ÀûÀÎ ÄÚÆÛ½º·Î¼­ Ææ½Çº£´Ï¾Æ ´ëÇÐÀÇ Penn Treebank°¡ ÀÖ´Ù. Penn Treebank 1992³âÆÇÀº ¾à 490¸¸ ¾îÀÇ ¹Ì±¹ ¿µ¾îÀÇ ÅØ½ºÆ® ÄÚÆÛ½ºÀ̸ç Àüü ÅØ½ºÆ®¿¡ ÇüÅÂ¼Ò Á¤º¸°¡, ±× ÁßÀÇ ¾à 290¸¸ ¾îÀÇ ±¸¹®Á¤º¸°¡ ºÎ¿©µÇ¾î ÀÖ´Ù. ÀÌ·¯ÇÑ Á¤º¸¸¦ Penn Treebank´Â ¾Æ·¡¿Í °°Àº °úÁ¤À¸·Î ºÎ¿©ÇÏ¿´´Ù.


±×¸². Penn TreebankÀÇ ±¸¼º °úÁ¤

¿ì¼± »ý(raw)ÄÚÆÛ½º¿¡ ´ëÇÏ¿© ÀÚµ¿À¸·Î ÇüżÒÇØ¼®(ǰ»çºÎ¿©)¸¦ Çϸç, ±× °á°ú¸¦ ¼öÀÛ¾÷À¸·Î ¼öÁ¤ÇÑ´Ù. ÀÌ ¼öÁ¤ÀÛ¾÷À» ºÎ°¡ÇÑ ÄÚÆÛ½º°¡ ǰ»çºÎ¿© ÄÚÆÛ½ºÀÌ´Ù. ¼öÁ¤ ÀÛ¾÷¿¡´Â ¸¶¿ì½º¸¦ ÀÌ¿ëÇÏ´Â »ç¿ëÀÚ ÀÎÅÍÆäÀ̽º ÇÁ·Î±×·¥ÀÌ ÁغñµÇ¾î ÀÖÀ¸¸ç, ¿À·ùÀ²Àº 2~6% Á¤µµÀÌ´Ù. ¼öÀÛ¾÷À¸·Î ¼öÁ¤À» ÇÏ´õ¶óµµ ¿ÏÀüÈ÷ ¿À·ù¸¦ Á¦°ÅÇÏ´Â °ÍÀº ºÒ°¡´ÉÇÏ´Ù.

´ÙÀ½À¸·Î ±¸¹®Çؼ® ÇÁ·Î±×·¥¿¡ ÀÇÇØ ¹®ÀÇ ±¸Á¶¸¦ Á¶»çÇÏ°í ±¸¹® ű×(tag)¸¦ ºÎ¿©ÇÑ´Ù. ¿©±â¿¡¼­ ÀÌ¿ëµÇ´Â ±¸¹®Çؼ® ÇÁ·Î±×·¥Àº Â÷ÈÄ ¼öÀÛ¾÷ÀÇ ºÎ´ãÀ» °¡´ÉÇÑ ÁÙÀ̱â À§ÇØ È®½ÇÇÑ ºÎºÎ¸¸ÀÇ ±¸±¸Á¶¸¦ Á¤¸®ÇÏ¿© ¾Ö¸Å¼ºÀÌ ÀÖ´Â ºÎºÐÀº ºÎºÐ ±¸Á¶Æ®¸® ±×´ë·Î Ãâ·ÂÇÑ´Ù.Áï, ¾Ö¸Å¼ºÀÌ ÀÖ´Â ºÎºÐÀº ¹® Àüü¿¡ ´ëÇÑ ÇϳªÀÇ ÇØ¼®Æ®¸®°¡ ¾Æ´Ï¶ó ºÎºÐÀûÀÎ ±¸, Àý¿¡ ´ëÇÑ ºÎºÐ ÇØ¼®Æ®¸®ÀÇ ³ª¿­ÀÌ µÈ´Ù. Àΰ£ÀÇ ¼öÀÛ¾÷Àº ±× °á°ú¸¦ ¡¸¼öÁ¤¡¹ÇÏ´Â °ÍÀÌ ¾Æ´Ï¶ó ÇϳªÀÇ ÇØ¼®Æ®¸®¿¡ ¡¸Á¶ÇÕ¡¹½ÃŰ´Â °ÍÀÌ´Ù. ±¸¹®Çؼ®ÀÇ ¼öÀÛ¾÷¿¡µµ ¿ª½Ã ¸¶¿ì½º¸¦ ÀÌ¿ëÇÏ¿© °£ÆíÇÏ°Ô ÀÛ¾÷ÇÒ ¼ö ÀÖ°Ô µÇ¾î ÀÖ´Ù.

Penn Treebank¿¡¼­´Â ÀǹÌÁ¤º¸¸¦ ºÎ¿©Çϰí ÀÖÁö ¾Ê´Ù. ÀÌ´Â ºÎ¿©ÇØ¾ß ÇÒ ÀǹÌÁ¤º¸ÀÇ ¼³Á¤ÀÌ ¾î·Æ´Ù´Â °Í, À̸¦ ºÎ¿©ÇÏ´Â Àΰ£ÀÇ ÀÛ¾÷ºÎ´ãÀÌ ³Ê¹« Å©´Ù´Â °ÍÀÌ ¿øÀÎÀÌ µÈ´Ù. ÀÌ¿¡ ´ëÇÏ¿© ÀϺ»ÀÇ ÀüÀÚÈ­ »çÀüÇÁ·ÎÁ§Æ®¿¡¼­ ÀÛ¼ºµÈ EDR ÄÚÆÛ½º¿¡¼­´Â Penn Treebank¿Í °ÅÀÇ ºñ½ÁÇÑ ¹æ½ÄÀ¸·Î ÇüżÒ, ±¸¹®Á¤º¸¸¦ ºÎ¿©ÇÑ ÈÄ, °Å±â¿¡ ÀǹÌÁ¤º¸¸¦ ¼öÀÛ¾÷À¸·Î ºÎ¿©Çß´Ù.

 

 

ÄÚÆÛ½ºÀÇ ÀÌ¿ë

°¢Á¾ÀÇ Á¤º¸¸¦ ºÎ°¡ÇÑ ÄÚÆÛ½º´Â ÀÚ¿¬¾ð¾îó¸®ÀÇ ¸ðµç ¸é¿¡¼­ »ç¿ëµÉ ¼ö ÀÖ´Ù.

Àΰ£¿¡ ÀÇÇÑ ¾ð¾îÁö½ÄÀÇ ±â¼ú
Àΰ£ÀÌ »çÀü, ¹®¹ý µîÀÇ ¾ð¾î Áö½ÄÀ» ±â¼úÇÒ ¶§´Â ¾ð¾î µ¥ÀÌÅ͸¦ ÀÌ¿ëÇÏ¿© ½ÇÁ¦ ¾ð¾îÇö»óÀ» Á¶»çÇÏ´Â °ÍÀÌ ¿ì¼± ÇÊ¿äÇÏ°Ô µÈ´Ù. ÀÌ¿Í °°Àº Á¶»ç¸¦ ´ë±Ô¸ð·Î Çϱâ À§Çؼ­´Â ÄÄÇ»ÅÍ·Î ÀÌ¿ëÇÒ ¼ö ÀÖ´Â ÅØ½ºÆ® ÄÚÆÛ½º°¡ ¾ø¾î¼­´Â ¾ÈµÈ´Ù. ¿¹¸¦ µé¾î, ¿µ±¹ÀÇ ´ëÇ¥Àû »çÀüÀÎ COBUILD English DictionaryÀÇ ÆíÂù¿¡¼­´Â ¿µ¾î ÄÚÆÛ½º¸¦ ¼öÁýÇϰí À̸¦ ÄÄÇ»ÅÍ Ã³¸®ÇÏ¿© ´Ü¾îÀÇ »öÀÎÀ» ÀÛ¼ºÇϰí, ±× °á°ú¸¦ ±âÃÊ·Î ÇÏ¿© Ç¥Á¦¾îÀÇ ¼±Á¤, ¾îÀÇÀÇ ¼³Á¤, ¿ë·ÊÀÇ ºÎ¿© µîÀÌ ÇàÇØÁ³´Ù.
ÄÄÇ»ÅÍ ½Ã½ºÅÛ¿¡ ÀÇÇÑ ÀÚ¿¬¾ð¾îó¸®
ÇüżÒÁ¤º¸, ±¸¹®Á¤º¸°¡ ºÎ°¡µÈ ÄÚÆÛ½º°¡ ÀÖÀ¸¸é, ÇüżÒÇØ¼®, ±¸¹®Çؼ®À» À§ÇÑ ¿ì¼±±ÔÄ¢ÀÇ ÆÄ¶ó¹ÌÅ͸¦ °è»êÇÒ ¼ö ÀÖ´Ù. ±×¸®°í ÀԷ¹®°ú À¯»çÇÑ ¹®À» ÄÚÆÛ½º Áß¿¡¼­ ã¾Æ³»°í ±× ¹®¿¡ ºÎ°¡µÇ¾î ÀÖ´Â °¢Á¾ Á¤º¸¸¦ ÀԷ¹®ÀÇ ÇØ¼®¿¡ ÀÌ¿ëÇÒ ¼öµµ ÀÖÀ¸¸ç, ¶ÇÇÑ ÄÚÆÛ½º·ÎºÎÅÍÀÇ ÇнÀ¿¡ ÀÇÇØ ¹®¹ý, °ÝÇÁ·¹ÀÓµîÀÇ ¾ð¾îÁö½ÄÀ» ÀÚµ¿ÀûÀ¸·Î ȹµæÇÒ ¼öµµ ÀÖ´Ù.
½Ã½ºÅÛ Ã³¸®°á°úÀÇ Æò°¡
ÀÚ¿¬¾ð¾îó¸® ½Ã½ºÅÛÀÇ ÇØ¼® °á°ú¸¦ Æò°¡ÇÏ´Â °æ¿ì¿¡µµ ÄÚÆÛ½º¸¦ ÀÌ¿ëÇÒ ¼ö ÀÖ´Ù. °øÅëÀÇ ÄÚÆÛ½º¸¦ ÀÌ¿ëÇÏ¿© Æò°¡½ÇÇèÀ» ÇÔÀ¸·Î½á ´Ù¾çÇÑ ÀÚ¿¬¾ð¾îó¸® ½Ã½ºÅÛ¿¡ ´ëÇÏ¿© ¾î´À Á¤µµ °´°üÀûÀÎ Æò°¡¸¦ ³»¸®´Â °ÍÀÌ °¡´ÉÇÏ°Ô µÈ´Ù. °¢Á¾ÀÇ Á¤º¸°¡ ºÎ°¡µÈ ÄÚÆÛ½º¸¦ ¾Æ·¡¿Í °°Àº ´Ü°è·Î Æò°¡½ÇÇèÀ» ÀÚµ¿ÀûÀ¸·Î ÇÒ ¼öµµ ÀÖ´Ù.
 
[1] ÀÏ´Ü ÄÚÆÛ½º·ÎºÎÅÍ ¾î¶² Á¤º¸¸¦ Á¦°ÅÇÑ´Ù.
[2] ±× Á¤º¸¸¦ ÀÚ¿¬¾ð¾îó¸® ½Ã½ºÅÛ¿¡ ÀÇÇØ ÀÚµ¿ÀûÀ¸·Î ºÎ¿©ÇÑ´Ù.
[3] óÀ½¿¡ ÄÚÆÛ½º¿¡ ºÎ¿©µÇ¾î ÀÖ´ø Á¤º¸¿Í ½Ã½ºÅÛ¿¡ ÀÇÇØ ºÎ¿©µÈ Á¤º¸¸¦ ºñ±³ÇÑ´Ù.
 

ÀÌ»óÀ¸·Î ÀÚ¿¬¾ð¾î󸮿¡ ÇÊ¿äÇÑ ¾ð¾îµ¥ÀÌÅÍÀÇ ¼öÁýÀÎ ÄÚÆÛ½º¿¡ ´ëÇÏ¿© ¼³¸íÀ» ¸¶Ä£´Ù.

 


Reference

A.I. Products
A.I. °ü·Ã»çÀÌÆ®(Link)


is powered by GGM

Copyright ¨Ï 2001-2002 Gurugail, All Rights Reserved.
Gurugail stands for Guru who gears a.i. to life, and GGM stands for Gurugail members.

Gurugail ¼Ò°³ | °ÇÀÇ »çÇ× | µµ¿òÀ» ÁֽŠºÐµé