Large‐scale data visualization with missing values

Abstract

Visualization of large‐scale data inherently requires dimensionality reduction to 1D, 2D, or 3D space. Autoassociative neural networks with a bottleneck layer are commonly used as a nonlinear dimensionality reduction technique. However, many real‐world problems suffer from incomplete data sets, i.e. some values can be missing. Common methods dealing with missing data include the deletion of all cases with missing values from the data set or replacement with mean or “normal” values for specific variables. Such methods are appropriate when just a few values are missing. But in the case when a substantial portion of data is missing, these methods can significantly bias the results of modeling. To overcome this difficulty, we propose a modified learning procedure for the autoassociative neural network that directly takes the missing values into account. The outputs of the trained network may be used for substitution of the missing values in the original data set.

Daugiamatės erdvės duomenų grafinis vaizdavimas, kai trūksta reikšmių

Santrauka. Vaizduojant daugiamatę informaciją, paprastai reikia ją transformuoti į vienmatę, dvimatę arba trimatę erdvę. Nelinijinei daugiamatės erdvės transformacijai paprastai naudojami autoasociatyvieji neuroniniai tinklai. Tačiau, dažnai sprendžiant realias problemas, dalis informacijos dingsta. Taikant tradicinius metodus, elgiamasi dvejopai: trūkstama informacija ignoruojama; trūkstamos reikšmės pakeičiamos vidutinėmis arba tam tikromis konkrečiam kintamajam būdingomis reikšmėmis. Šie metodai tinka tada, kai trūksta tik kelių reikšmių. Kai trūksta daugelio duomenų, minėtieji metodai gali labai iškraipyti modeliavimo rezultatus. Šiai problemai išspręsti autoriai pasiūlė procedūrą, kuri, naudojant autoasociatyvųjį neuroninį tinklą duomenų transformacijai, įvertina trūkstamas reikšmes. Skaičiavimo rezultatai, tobulesniu neuroniniu tinklu gali būti naudojami trūkstamoms reikšmėms pirminėje duomenų aibėje pakeisti.

Reikšminiai žodžiai: duomenų vaizdavimas, daugiamatės erdvės transformacija, autoasociatyvusis neuroninis tinklas, tinklo tobulinimas, neišsamių duomenų imtis.

First Published Online: 21 Oct 2010

Keyword : data visualization, dimensionality reduction, autoassociative neural network, network training, missing values, incomplete data set