(Résumé en français)

Data Analysis through Self-Organized Neural Networks

Abstract

Data understanding is often based on hidden informations retrieval within a big amount of collected variables. It is a search for linear or non linear dependencies between these observed variables, and consists in reducing these variables to small number of parameters.

A classical method, widely used for this purpose, is the so-called Principal Component Analysis (PCA). Unfortunately, this method is only linear, and fails to reduce data that are redundant in a non linear way.

The Kohonen's Self-Organizing Maps are a type of artificial neural networks, the functionality of which can be viewed as a non linear extension of PCA: data samples are mapped onto a grid of neurons. A major drawback of these maps, however, is their a priori defined shape (generally a square or a rectangle), which is rarely adapted to the shape of the parametric space to represent.

We relax this constraint with a new algorithm, called ``Vector Quantization and Projection'' (VQP). It is a kind of self-organizing map, the output space of which is continuous and takes automatically the relevant shape. From a mathematical point of view, VQP is the search for a diffeomorphism between the raw data set and an unknown parametric representation to be found. More intuitively, this is an unfolding of data structure towards a low-dimensional space, which dimension is the number of degrees of freedom of the observed phenomenon, and can be determined through fractal analysis of the data set.

In order to illustrate the generality of VQP, we give a wide range of application examples (real or simulated), in several domains such as data fusion, graphes matching, industrial process monitoring or analysis, faults detection in devices and adaptive routing in telecommunications.

Keywords

Data structure (submanifold), Self-Organizing Maps (Kohonen), Fractal Dimension, Dimension Reduction, Nonlinear Projection, Unfolding, "VQP" algorithm, diffeomorphism, interpolation, extrapolation, Multidimensional Scaling, Nonlinear Mapping, Industrial Applications.


Analyse de données par réseaux de neurones auto-organisés

Résumé

Chercher à comprendre des données, c'est souvent chercher à trouver de l'information cachée dans un gros volume de mesures redondantes. C'est chercher des dépendances, linéaires ou non, entre les variables observées pour pouvoir résumer ces dernières par un petit nombre de paramètres.

Une méthode classique, l'Analyse en Composantes Principales (ACP), est abondamment employée dans ce but. Malheureusement, il s'agit d'une méthode exclusivement linéaire, qui est donc incapable de révéler les dépendances non linéaires entre les variables.

Les cartes auto-organisantes de Kohonen sont des réseaux de neurones artificiels dont la fonction peut être vue comme une extension de l'ACP aux cas non-linéaires. L'espace paramétrique est représenté par une grille de neurones, dont la forme, généralement carrée ou rectangulaire, doit malheureusement être choisie a priori. Cette forme est souvent inadaptée à celle de l'espace paramétrique recherché.

Nous libérons cette contrainte avec un nouvel algorithme, nommé ``Vector Quantization and Projection'' (VQP), qui est une sorte de carte auto-organisante dont l'espace de sortie est continu et prend automatiquement la forme adéquate. Sur le plan mathématique, VQP peut être défini comme la recherche d'un difféomorphisme entre l'espace brut des données et un espace paramétrique inconnu à trouver. Plus intuitivement, il s'agit d'un dépliage de la structure des données vers un espace de plus petite dimension. Cette dimension, qui correspond au nombre de degrés de liberté du phénomène étudié, peut être déterminée par des méthodes d'analyse fractale du nuage de données.

Afin d'illustrer la généralité de l'approche VQP, nous donnons une série d'exemples d'applications, simulées ou réelles, dans des domaines variés qui vont de la fusion de données à l'appariement de graphes, en passant par l'analyse ou la surveillance de procédés industriels, la détection de défauts dans des machines et le routage adaptatif en télécommunications.

Mots-clés

Structure de données (variété), cartes auto-organisantes (Kohonen), dimension fractale, réduction de dimension, projection non-linéaire, dépliage, algorithme ``VQP'', difféomorphisme, interpolation, extrapolation, ``Multidimensional Scaling'', ``Nonlinear Mapping'', applications industrielles.
Available via: http://www.icsi.berkeley.edu/~demartin/publi.html

Name:	demartines.phd94.ps.Z
Langage: French
Size.Z:	2223449
Size:	8780903
Ref:	@phdthesis{dema94b,
   author = "P. Demartines",
   school = "{I}nstitut {N}ational {P}olytechnique de {G}renoble",
   title = "Analyse de donn\'ees par r\'eseaux de neurones auto-organis\'es",
   year = "1994"
}
Note:	202 pages, 84 figures, 6 pages of index, 123 references,
	3 cartoons by Gary Larson. In French only, sorry !

Last modified: Wed Jun 12, 1996 by demartin@icsi.berkeley.edu. Return to Pierre's homepage