Bodamer Softwareentwicklung

Neuer Typ von neuronalen Netzen,
die auf mehreren Neuronenschichten unüberwacht lernen

Anwendungsgebiete

• Bilderkennung
• Schrifterkennung (OCR)
• Spracherkennung
• Bildkomprimierung
• Zeitreihenanalyse und Prognose
• Assoziativspeicher (neuronale Datenbank)

Vorteile dieses neuen Netztyps

Das Netz kann auch bei einer hohen Zahl von Netzeingängen und Neuronen performant auf einem Rechner abgearbeitet werden. Dadurch können komplexere Muster klassifiziert werden.

Das Netz lernt sehr schnell. Beim Hinzulernen neuer Muster ist kein Nachtrainieren alter Muster wie bei Backpropagation erforderlich.

Durch die Klassifikation von Teilmustern auf unteren Neuronenschichten und das Kombinieren dieser Klassen auf höheren Neuronenschichten kann die erforderliche Gesamtanzahl von Neuronen sowie Neuroneneingängen stark verringert werden.

Reicht die Kapazität einer Neuronenschicht nicht aus, so können automatisch zusätzliche Neuronen generiert werden.

Bisher bekannt ist das einstufige unüberwachte Lernen bei neuronalen Netzen, z.B. "Competitive Learning" oder das Kohonen-Netz, wobei das unüberwachte Lernen in einer Neuronenschicht abläuft. Für die Erzeugung der Ausgabeinformation kann eine weitere Neuronenschicht verwendet werden (z.B. Counter-Propagation-Netzwerk), bei dieser Schicht wird jedoch das überwachte Lernen verwendet, es werden also für jedes zu erlernende Eingabemuster die zugehörigen Ausgabewerte angegeben. Ebenfalls bekannt ist das unüberwachte Lernen auf mehreren Neuronenschichten beim Neocognitron von Fukushima. Dieser Netztyp ist jedoch bei der Simulation auf einem Rechner relativ unperformant, weshalb nur kleine Netze simuliert werden.

Bei dem neuen Typ von neuronalen Netzen werden einfache Teilmuster eines Gesamt- Eingabemusters auf unteren Neuronenschichten klassifiziert. Diese Klassifizierungs- ergebnisse werden auf höheren Neuronenschichten kombiniert. Auf diese Weise werden komplexe Teilmuster oder das Gesamtmuster klassifiziert, wobei jede Neuronenschicht unüberwacht lern. Den Neuronen der obersten Schicht können durch überwachtes Lernen Ausgabewerte zugeordnet werden.

Mit diesem Verfahren können sehr große Netze performant auf einem Rechner abgearbeitet werden und dadurch komplexe Eingabemuster klassifiziert werden. Anfragen zu Prototypen, Demoversionen oder weitergehenden Informationen bitte per E-Mail an: ebodamer@aol.com