každý, kdo byl vzdáleně naladěn na nedávný pokrok ve strojovém učení, slyšel o současných umělých neuronových sítích 2. generace používaných pro strojové učení. Ty jsou obecně plně připojeny, přijímají spojité hodnoty a výstupní spojité hodnoty. Přestože nám umožnily dosáhnout průlomového pokroku v mnoha oblastech, jsou biologicky inn-přesné a ve skutečnosti napodobují skutečné mechanismy neuronů našeho mozku.
3. generace neuronových sítí, špičaté neuronové sítě, si klade za cíl překlenout propast mezi neurovědou a strojovým učením pomocí biologicky realistických modelů neuronů k provádění výpočtů. Špičková neuronová síť (SNN) se zásadně liší od neuronových sítí, které komunita strojového učení zná. SNN pracují s použitím hrotů, což jsou diskrétní události, které se odehrávají v časových bodech, spíše než spojité hodnoty. Výskyt hrotu je určen diferenciálními rovnicemi, které představují různé biologické procesy, z nichž nejdůležitější je membránový potenciál neuronu. V podstatě, jakmile neuron dosáhne určitého potenciálu, to hroty, a potenciál tohoto neuronu je resetován. Nejběžnějším modelem je model Leaky integrate-and-fire (LIF). Kromě toho jsou SNN často řídce propojeny a využívají specializovaných síťových topologií.
na první pohled se to může zdát jako krok dozadu. Přesunuli jsme se od spojitých výstupů k binárním a tyto spike vlaky nejsou příliš interpretovatelné. Spike vlaky nám však nabízejí zvýšenou schopnost zpracovávat časoprostorová data nebo jinými slovy senzorická data v reálném světě. Prostorový aspekt odkazuje na skutečnost, že neurony jsou spojeny pouze s neurony lokálními, takže tyto inherentně zpracovávají kusy vstupu odděleně (podobně jako CNN pomocí filtru). Časový aspekt odkazuje na skutečnost, že spike vlaky se vyskytují v průběhu času, takže to, co ztratíme v binárním kódování, získáme v časové informaci hrotů. To nám umožňuje přirozeně zpracovávat časová data bez další složitosti, kterou RNNs přidává. Ve skutečnosti bylo prokázáno, že špičaté neurony jsou zásadně výkonnější výpočetní jednotky než tradiční umělé neurony.
vzhledem k tomu, že tyto SNN jsou teoreticky výkonnější než sítě 2. generace, je přirozené se divit, proč nevidíme jejich široké využití. Hlavním problémem, který v současné době spočívá v praktickém využití SNNs, je školení. Přestože máme metody biologického učení bez dozoru, jako je Hebbian learning a STDP, neexistují žádné známé účinné metody výcviku pod dohledem pro SNN, které nabízejí vyšší výkon než sítě 2.generace. Protože spike vlaky nejsou rozlišitelné, nemůžeme trénovat SNN pomocí gradientního sestupu bez ztráty přesných časových informací ve spike vlacích. Proto, abychom mohli správně používat SNN pro úkoly v reálném světě, museli bychom vyvinout účinnou metodu učení pod dohledem. To je velmi obtížný úkol, protože by to znamenalo určit, jak se lidský mozek skutečně učí, vzhledem k biologickému realismu v těchto sítích.
dalším problémem, který jsme mnohem blíže k řešení, je to, že simulace SNN na normálním hardwaru je velmi výpočetně náročná, protože vyžaduje simulaci diferenciálních rovnic. Neuromorfní hardware, jako je IBM TrueNorth, si však klade za cíl vyřešit to simulací neuronů pomocí specializovaného hardwaru, který může využít diskrétní a řídké povahy chování neuronů.
budoucnost SNNs proto zůstává nejasná. Na jedné straně jsou přirozeným nástupcem našich současných neuronových sítí, ale na druhé straně nejsou zdaleka praktickými nástroji pro většinu úkolů. Existují některé současné aplikace SNN v reálném světě při zpracování obrazu a zvuku v reálném čase, ale literatura o praktických aplikacích zůstává řídká. Většina článků o SNN je buď teoretická, nebo vykazují výkon v rámci jednoduché plně připojené sítě 2.generace. Existuje však mnoho týmů, které pracují na vývoji pravidel učení pod dohledem SNN, a já zůstávám optimistou pro budoucnost SNNs.