신경망의 구현에 있어서 가장 두드러진 요소들은 병렬처리와 분산 처리일 것이다. 생물학적 뉴런의 신호전달은 1초에 1천번이하로 작동한다. 이처럼 각 뉴런의 동작속도는 느리지만 다수의 뉴런에 의한 병렬분산처리를 통하여 빠른 시간내에 고도의 정보처리가 가능하다.
인간의두뇌는 하드웨어적으로는 느리지만 신경구조가 가지고 있는 병렬분산 성을 통하여 다량의 정보를 안정적으로 처리하고 있다. 사람이 물체를 보고그것을 인식하는데 걸리는 시간은 수백밀리초정도다. 따라서 시냅스에서의 시간지연과 뉴런의 정보전달 시간을 고려할 때 수십단계의 연산이 수행될 것으로 추정된다. 인간의 두뇌가 처리속도가 느린 뉴런들을 이용하여 현대의 슈퍼컴퓨터로도 처리하기 힘든 패턴인식을 짧은 시간에 수행할 수 있는 것은고도의 병렬분산성때문일 것이다.
인간의정보처리시스템은 하드웨어나 소프트웨어적인 측면에서 병렬분산처리 를 하고 있으며 계층적인 구조를 지닌 것으로 생각된다. 즉 각 계층내 에서각각의 모듈이 상호 결합된 계층적인 병렬분산처리 시스템으로 여겨진다. 계층적인 면에서는 가장 기초적인 뉴런단위로 이루어진 뉴런층과 처리 단위로 이루어진 처리층 그리고 기능단위로 이루어진 기능층으로 형성되어 있다.
따라서 신경망의 병렬분산성을 보다 정확하게 규명하기 위해서는 이러한 층 별로 철저한 분석이 필요하다. 그러나 지금까지는 두뇌에서의 부위별 작용정도가 알려져 있는 수준이며 처리층이나 뉴런사이의 작용등에 관해서는 앞으로 연구해야 할 과제가 많은 실정이다.
신경망은구조와 특성면에서 현재의 디지털컴퓨터와는 근본적으로 다르다.
구조면에서볼 때 현재의 디지털컴퓨터는 정보처리장치와 주기억장치가 물리 적으로 분리되어 있지만 신경망에서는 그렇지 않다. 또한 처리방식면에서는대부분의 디지털컴퓨터가 한개의 처리요소에 의해 순차적으로 처리하는 반면에 신경망은 본질적으로 다수의 모듈과 서로 영향을 주며 동시에 서로 다른 처리를 실행하는 병렬처리를 하게 된다. 즉 다수의 처리요소가 동시에 작동 하는 병렬처리머신의 일종이라고 볼 수 있다.
이러한 고도의 병렬성을 가진 시스템은 전통적인 컴퓨터에서는 볼 수 없는인간적인 능력을 발휘할 것으로 기대된다. 따라서 앞으로 논리연산이 뛰어난디지털컴퓨터와 시각인식 또는 음성인식 등의 감각적 정보처리에 뛰어난 신 경망을 결합하여 서로의 장점을 살린다면 강력한 성능을 가진 새로운 컴퓨터 가 등장할 것으로 기대된다. 우리는 이러한 컴퓨터의 조기구현을 꿈꾸고 있으며 이러한 기능을 가진 컴퓨터를 신경망컴퓨터라고 말하기도 한다.
현재구현되고 있는 신경망 컴퓨터는 아직까지는 그리 강력하지 않다. 주된이유는 병렬처리에 있어서 문제점들이 아직 해결되지 않았다는 점이다. 현재구현되고 있는 가장 강력한 병렬처리컴퓨터도 정보를 병렬로 분산시키는 브로드캐스팅 Broa-dcasting 단계와 정보를 통합하는 조인(Join)단계에서 상당 히 많은 시간지연이 있다. 이러한 현상은 심지어 병렬처리의 근본적인 장점 을 뒤흔들어 놓는 경우도 만든다. 필자의 경험에 의하면 1천24개의 병렬처리 프로세서를 사용하더라도 불과 2배정도의 시간을 절약하는 경우도 생기기 때문에 병렬처리의 문제는 아직까지는 탐구의 단계인 것으로 여겨진다.
현재 신경망구현에 있어서의 문제점중의 하나는 병렬처리성이다. 신경망의 본질적인 장점이 병렬처리성인데 실제 구현에 있어서는 순차적으로 이루어지기 때문이다. 이 점은 매우 심각하지만 신경망연구가들이 모두 그 책임을 떠맡아야 하는 것은 아니다. 하드웨어적인 병렬처리기가 아직까지는 기대 만큼의 성능을 발휘할 수 없기 때문에 실시간구현에 있어서는 시간이 해결해 줄것이다. 필자는 3년전 미국의 MIT에서 몇천만달러규모의 병렬 운영체제에 대한 프로젝트를 시작했다는 소식을 들었다. 그러나 아직까지 그 결과가 크게부각되지 않은 점으로 보아 좀 더 많은 시간과 노력이 들 것으로 생각된다.
