[ÄÚ¸®¾ÆÇÁ·¹½º = ±èÀ¯Áø ±âÀÚ] ÇнÀÀ» ÅëÇØ ÇÁ·Î ¼öÁØÀÇ ÄÄÇ»ÅÍ°ÔÀÓ ´É·ÂÀ» Å͵æÇÏ´Â ÀΰøÁö´É °ÔÀ̸Ӱ¡ °³¹ßµÅ ÈÁ¦´Ù.
±¸±Û ÀÚȸ»çÀÎ ¿µ±¹ ±¸±Û µö¸¶Àεå(Google DeepMind) ¿¬±¸ÁøÀº 26ÀÏ °úÇÐÀú³Î '³×ÀÌó'¿¡¼ ÀΰøÁö´É °ÈÇнÀ°ú »ý¹°ÇÐÀû ½Å°æ¸Á ÇнÀ ¹æ½ÄÀ» °áÇÕÇØ ÃÖ¼ÒÇÑÀÇ Á¤º¸¸¸À¸·Î 49°¡Áö ºñµð¿À°ÔÀÓÀÇ ±â¼úÀ» ÇнÀÇÏ´Â ÀΰøÁö´É ÀåÄ¡ 'DQN(deep Q-network)'À» °³¹ßÇß´Ù°í ¹àÇû´Ù.
¿¬±¸ÁøÀº DQN¿¡ ÁÖº¯ ȯ°æ°ú »óÈ£ÀÛ¿ëÇÏ¸é¼ ÇâÈÄ º¸»óÀÌ ±Ø´ëȵǴ ÇൿÀ» ¼±ÅÃÇسª°¡´Â ÀΰøÁö´ÉÀÇ °ÈÇнÀ ¹æ½Ä°ú »ý¹° ½Å°æ¸ÁÀ» ¸ð¹æÇÑ Àΰø ½Å°æ¸ÁÀÇ 'Q-ÇнÀ' ¹æ½ÄÀ» °áÇÕ½ÃÄ×´Ù.
ÀÌ´Â ½ÇÁ¦ ¼¼°èó·³ ¸¹Àº º¯¼ö°¡ ¾ôÈù º¹ÀâÇÑ »óȲ¿¡¼´Â ÃÖÀûÀÇ ÇൿÀ» ¼±ÅÃÇÏ´Â µ¥ ÇÑ°è°¡ ÀÖ´Â ÀϹÝÀûÀÎ °ÈÇнÀ ¹æ½ÄÀ» º¸¿ÏÇϱâ À§ÇØ ÁÖ¾îÁø »óȲ¿¡¼ ÃëÇÒ ¼ö ÀÖ´Â Çൿ¿¡ °¡ÁßÄ¡¸¦ ºÎ¿©ÇØ ÃÖÀûÀÇ ½Ã³ª¸®¿À¸¦ ã¾Æ³ª°¡´Â Q-ÇнÀ ¹æ½ÄÀ» Á¢¸ñÇÑ °á°ú´Ù.
µ¥¹Ì½º ÇÏ»çºñ½º ¹Ú»ç°¡ À̲ô´Â ¿¬±¸ÁøÀº DQNÀÇ ÇнÀ´É·ÂÀ» ºñµð¿À°ÔÀÓ¾÷ü '¾ÆŸ¸®'(Atari 2600)ÀÇ ºñµð¿À°ÔÀÓ 49°¡Áö¸¦ »ç¿ëÇØ °ËÁõÀ» °ÅÃÆ´Ù. ½ÇÇè¿¡ »ç¿ëµÈ 49°¡Áö °ÔÀÓ¿¡´Â ±¹³»¿¡¼µµ À¯¸íÇÑ '½ºÆäÀ̽º Àκ£ÀÌ´õ'¿Í 'º®µ¹±ú±â(Breakout)' µîÀÌ Æ÷ÇÔµÈ °ÍÀ¸·Î ÀüÇØÁ³´Ù.
¿¬±¸ÁøÀº DQN¿¡ °¢ ºñµð¿À°ÔÀÓÀÇ È¸é Çȼ¿°ú Á¡¼ö Á¤º¸¸¸À» Á¦°øÇÏ°í ½º½º·Î ÇнÀÀ» ÅëÇØ ³ôÀº Á¡¼ö¸¦ ¾òÀ» ¼ö ÀÖ´Â °ÔÀÓÀü·«À» ã¾Æ³ª°¡µµ·Ï À¯µµÇß´Ù.
±× °á°ú DQNÀº °¢ °ÔÀÓÀ» ÀÏÁ¤ Ƚ¼ö ÀÌ»ó ¿¬½ÀÇÑ ´ÙÀ½¿¡´Â 49°¡Áö °ÔÀÓ Áß 29°¡Áö¿¡¼ °ÔÀÓ Å×½ºÆà Àü¹®°¡¸¦ ´É°¡ÇÏ´Â ¼öÁØÀÇ ±â¼úÀ» Å͵æÇß´Ù°í ¹àÇû´Ù.
DQNÀº 29°³ °ÔÀÓ¿¡¼ °ÔÀÓÅ×½ºÆà Àü¹®°¡µéÀÇ Æò±Õ Á¡¼öÀÇ 75%°¡ ³Ñ´Â Á¡¼ö¸¦ ȹµæÇß°í, 'ºñµð¿À Çɺ¼' °ÔÀÓ¿¡¼´Â Á¡¼ö°¡ »ç¶÷º¸´Ù 2õ539% ³ô¾ÒÀ¸¸ç 'º¹½Ì'°ú 'º®µ¹±ú±â'¿¡¼´Â °¢°¢ 1õ707%¿Í 1õ327% ³ô¾Ò´Ù.
DQNÀº ¶Ç 43°¡Áö °ÔÀÓ¿¡¼ Áö±Ý±îÁö °ÈÇнÀ ¹æ½ÄÀ» Àû¿ëÇØ °³¹ßµÈ ÃÖ°í ¼öÁØÀÇ ÀΰøÁö´É ÀåºñµéÀ» ´É°¡Çϱ⵵ Çß´Ù.
DQNÀº ƯÁ¤ ȯ°æ°ú ¸ñÀûÀ» ÁöÁ¤ÇØÁØ »óÅ¿¡¼ »õ·Î¿î °ÍÀ» ÇнÀÇϵµ·Ï °³¹ßµÈ ±âÁ¸ ÀΰøÁö´É ½Ã½ºÅÛµé°ú ´Þ¸® ÇϳªÀÇ ÇнÀ ¾Ë°í¸®ÁòÀ» °¡Áö°í ¹è°æÁö½Ä ¶Ç´Â »çÀü Á¤º¸ ¾øÀÌ ÃÖ¼ÒÇÑÀÇ Á¤º¸¸¸À» ÀÌ¿ëÇØ ´Ù¾çÇÑ ÇнÀÀ» ÇÑ´Ù´Â Á¡¿¡¼ ȹ±âÀûÀÎ ¼º°ú·Î Æò°¡µÈ´Ù.
³×ÀÌóÁö´Â "ÀÌ ¿¬±¸ °á°ú´Â ÃֽŠ±â°èÇнÀ ±â¼úÀ» »ý¹°ÇÐÀû ÇнÀ ¸ÞÄ¿´ÏÁò°ú Á¢¸ñÇÏ¸é ´Ù¾çÇÏ°í ¾î·Á¿î °úÁ¦¸¦ ÇнÀÇÒ ¼ö ÀÖ´Â ÀΰøÁö´ÉÀ» °³¹ßÇÒ ¼ö ÀÖ´Ù´Â °ÍÀ» Àß º¸¿©ÁØ´Ù"°í Æò°¡Çß´Ù.