Project


Neuron Network
#0031


General Information  

Full Title
Development of a High-capacity Content-Addressed Neuron Network Memory

Tech Area / Field
  • INF-COM: Information and Communications / High Performance Computing and Networking

Status
1 2 3 4 5 6 7 8
 Project completed

Senior Project Manager
Novozhilov V V

Leading Institute
FIAN Lebedev

Supporting institutes

Project Summary  

This project concerns the development and practical apparatus implementation of modern methods on information processing, suitable for industrial applications.

Content-Addressed Memory (CAM) is one of the most promising applications of completely parallel Neuron Networks (NN) architecture. It is especially adept at fast pattern recognition and related problems, where many hypotheses are pursued in parallel.

Conventional NN attempt to achieve good performance via dense interconnections of simple neurons. (The latter being a threshold element over the weighted sum of its inputs). The basic limitation of the present models of CAM is their low capacity, which is roughly given by the number of interconnections per neuron.

The only way out to reduce the number of interconnections with the increase of the network's storage capacity is the use of more complex neurons, which take into account various cross-correlations of its inputs. The capacity of such networks is known to be much higher, than that of the conventional ones.

We propose to use the waveguide holographic technique to implement high-order cross correlations. The multisegment diode lasers may be used both as light sources and as nonlinear elements. Such a technology permits the integrated implementation of NN, suitable for mass production.

The final goal of the present program is the development of CAM with high storage capacity and diluted interconnections. This willopen jbbe way for silicon CAM implementations, which is now strongly restricted by the limited fan-out of electronic gates.

In LPI there exists a laboratory of ultra-fast optoelectronics, which have an experience in picosecond laser diode technology, integrated optics and holography. To reach the project's goals the experienced specialists, familiar with neurocomputing are needed. VNIITF has a number of weapons scientists, who match this requirement. This project provides them an opportunity to redirect their talents to peacefull activities.

Разработка искусственных нейросетей - новейшее направление в технике параллельных вычислений, заимствующее способы обработки информации у биологических прототипов. Среди перспективных применений нейросетей - системы распознавания зрительных образов и речи, экспертные системы, робототехника. Большинство применений основаны на свойстве ассоциативной памяти, присущем нейросетям, позволяющем им быстро распознавать сложные образы и ситуации.

Существующие нейронные сети строятся из простых нейронов-сумматоров. Возможности их достигаются за счет большого числа межсоединений (обычно каждый нейрон связан со всеми остальными). Такая архитектура усложняет производство полупроводниковых нейросетей с достаточно большим для практических приложений числом нейронов.

В данном проекте предлагается другой принцип построений нейросетей, с малым числом межсоединений - за счет усложнения нейронов, реагирующих не просто на. взвешенную сумму своих входов, но способных различать и корреляции своих входов. Чем больше корреляций будет различать такой усложненный нейрон, тем меньшее число межсоединений обеспечат работоспособность сети. (Этот принцип "использован" и в конструкции мозга). Такая архитектура облегчит создание нейро-чипов с большим числои нейронов и емкой ассоциативной памятью.

В данном проекте предлагается также оптоэлектронная реализация нейронных сетей с усложненными нейронами в качестве базовых элементов, имеющая ряд преимуществ перед кремниевой. В качестве порогового элемента выступает полупроводниковый лазер, а волноводные голограммы обеспечивают учет корреляций между нейронными входами. Такая технология опирается на новейшие достижения интегральной оптики, и позволит создавать портативные и высокопроизводительные блоки ассоциативной оптической памяти для широкого круга применений.

В лаборатории сверхбыстродействующих оптических вычислений ФИАН накоплен большой опыт в области интегральной оптики, который позволит достичь поставленных в проекте целей. Для этого необходимы специалисты в области нейровычислений и численного моделирования. ВНИИТФ располагает такими кадрами, высвобождающимися в результате конверсии. Данный проект позволит направить талант и умения этих ученых в актуальную область фундаментальных научных исследований и перспективных практических применений.