최적화란 무엇인가? 최적화란 말 그대로 어떤 일의 구현에 있어서 가장 효율 적으로 일을 처리하는 일련의 과정을 일컫는다. 어릴적 놀이로서 장기알이나 바둑돌을 이용하여 장기판의 칸을 뛰어넘어 자기의 모든 말들을 상대방의 진지에 먼저 진입시키느냐로 승부를 판가름하는 경기가 있다. 이 게임에서의노하우로는 건너뛸 수 있는 받침돌을 최대한 효과적으로 만들어 놓고 점프를시도하는 것이다. 만약 혼자서 시행할 경우에는 최적화가 비교적 간단 하지만 상대방과 번갈아 실시하는 게임에 있어서는 휠씬 복잡하게 된다. 내가 만들어 놓은 다리를 상대방이 이용하여 건너뛰거나 블로킹할 수도 있기 때문이다최적화는 주어진 목표를 향한 가장 좋은 해결책으로 볼 수 있다. 그러나 실세계 문제의 해결에 있어서는 최적화가 이상적으로 적용될 수 없는 복잡한 경우가 휠씬 많다.
최적화문제에대한 보다 실질적인 접근을 위해 순회판매원문제 (Traveling Salesman Pr-oblem)의 예를 들어 보자. 순회판매원문제란 방문하여야 할 도시 들과 이들 사이의 거리가 주어졌을 경우 순회판매원이 여러개의 도시를 방문 하는데 어느 특정한 도시를 출발하여 어떠한 도시도 두번 방문함이 없이 모든 도시들을 거쳐 처음 출발한 도시로 되돌아오는데 총여행거리가 최소가 되도록 경로의 순서를 정하는 문제다. 이 "최소"의 경로가 "최적" 의 경로라고 말할 수 있으며 "좋은"해답이란 최적의 해답에 상당히 근접한 경로를 말한다이 순회판매원문제는 극도로 어려운, 전형적인 최적화 문제로서 문제의 해결 에 상당히 많은 시간이 걸리며 특히 변수의 값이 클 경우에는 천문학적인 계 산량으로 인해 적당한 시간안에 그 결과를 기대할 수 없다. 가령 10개도시의 경우에는 18만1천여가지의 경우의 수가 있으며 30개 도시의 경우에는 무려 4 10의 30승가지의 경우의 수가 존재한다. 따라서 도시의 숫자가 늘어남에따라 경우의 수가 기하급수적으로 커지므로 현재의 디지털 컴퓨터 체계로는 문제해결이 거의 불가능하다.
그러면최적화 문제를 효과적으로 해결할 수 있는 방법은 무었일까? 최적화 문제는 홉필드신경망을 통하여 어느 정도 해결이 가능하게 되었다. 홉필드네트워크를 사용한 순회판매원문제의 최적화의 경우에는 10개도시를 방문 하는데 ?개의 유니트를 사용하여 행렬로 나타낸다.
이문제의 해결에 있어서 에너지식은 매우 중요한 요소다. 에너지 함수들은 다음의 조건들을 만족시키면서 만들어져야한다. 첫째, 각 도시를 꼭 한번씩만 방문해야 한다. 둘째, 동시에 두 도시를 방문할 수는 없다. 셋째, 정해진 도시들만 방문해야 한다. 마지막으로 순회거리의 총합이 최소가 되어야 한다는 점이다.
홉필드네트워크에서는최적화를 이루기 위해 최소의 에너지를 가지는 상태를 향하여 꾸준히 변화하게 된다. 그 외의 최적화문제로는 신호분해나 선형프로 그래밍 등이 있다.
그러나홉필드네트워크를 이용한 최적화에도 문제점은 존재한다. 홉필드네트워크는 10개이하의 도시를 대상으로 해야하고 그 이상일 때에는 국부적인 최 적값을 가지는 문제점을 내포하고 있다. 또한 변수가 하나씩 증가할 때마다 문제해결에 걸리는 시간의 증가도 엄청나다. 최근에는 이러한 문제점을 극복 하기 위하여 계층구조적인 홉필드네트워크가 제안되어 보다 많은 노드를 사용할 수 있게 되었다. 그러나 이러한 방법도 근본적인 해결책이 될 수 없다는 것이 필자의 의견이다.
이러한제한점과 문제점에도 불구하고 홉필드네트워크는 신경망에 의해 해결 가능한 문제들에 매우 밝은 전망을 비쳐주고 있다.
최적화문제는변수의 값이 커질수록 계산량이 폭발적이므로 매우 난해하다.
그러나이러한 문제의 해결을 위해 카오스(Chaos)를 비롯한 여러가지 첨단이 론들에 관한 연구가 진행되고 있다. 케이오스이론은 계산으로서는 해결이 불가능한 복잡한 현상으로부터 어트랙터(Attractor)의 추출을 통한 역방향접근 으로 여겨진다.