Tous ceux qui ont été à l’écoute à distance des récents progrès de l’apprentissage automatique ont entendu parler des réseaux de neurones artificiels actuels de 2e génération utilisés pour l’apprentissage automatique. Ceux-ci sont généralement entièrement connectés, prennent des valeurs continues et produisent des valeurs continues. Bien qu’ils nous aient permis de faire des progrès décisifs dans de nombreux domaines, ils sont biologiquement précis et n’imitent pas réellement les mécanismes réels des neurones de notre cerveau.
La 3ème génération de réseaux de neurones, les réseaux de neurones dopants, vise à combler le fossé entre les neurosciences et l’apprentissage automatique, en utilisant des modèles de neurones biologiquement réalistes pour effectuer des calculs. Un réseau de neurones dopants (SNN) est fondamentalement différent des réseaux de neurones connus par la communauté de l’apprentissage automatique. Les SNN fonctionnent à l’aide de pics, qui sont des événements discrets qui se produisent à des moments dans le temps, plutôt que des valeurs continues. L’apparition d’un pic est déterminée par des équations différentielles qui représentent divers processus biologiques, dont le plus important est le potentiel membranaire du neurone. Essentiellement, une fois qu’un neurone atteint un certain potentiel, il augmente et le potentiel de ce neurone est réinitialisé. Le modèle le plus courant pour cela est le modèle d’intégration et de feu (LIF) qui fuit. De plus, les SNN sont souvent peu connectés et profitent de topologies de réseau spécialisées.
À première vue, cela peut sembler une étape rebours. Nous sommes passés de sorties continues à binaires, et ces trains de pointes ne sont pas très interprétables. Cependant, les trains spike nous offrent une capacité accrue à traiter des données spatio-temporelles, ou en d’autres termes, des données sensorielles réelles. L’aspect spatial fait référence au fait que les neurones ne sont connectés qu’aux neurones qui leur sont locaux, de sorte que ceux-ci traitent intrinsèquement des morceaux de l’entrée séparément (similaire à la façon dont un CNN utiliserait un filtre). L’aspect temporel fait référence au fait que les trains de pointes se produisent au fil du temps, donc ce que nous perdons dans le codage binaire, nous gagnons dans l’information temporelle des pointes. Cela nous permet de traiter naturellement des données temporelles sans la complexité supplémentaire que les RNN ajoutent. Il a été prouvé, en fait, que les neurones dopants sont des unités de calcul fondamentalement plus puissantes que les neurones artificiels traditionnels.
Étant donné que ces SNN sont en théorie plus puissants que les réseaux de 2e génération, il est naturel de se demander pourquoi nous n’en voyons pas une utilisation généralisée. Le principal problème qui se pose actuellement dans l’utilisation pratique des SNN est celui de la formation. Bien que nous ayons des méthodes d’apprentissage biologique non supervisées telles que l’apprentissage Hebbien et le STDP, il n’existe aucune méthode de formation supervisée efficace connue pour les SNN offrant des performances supérieures à celles des réseaux de 2e génération. Puisque les trains à pointes ne sont pas différentiables, nous ne pouvons pas former des SNN en utilisant la descente de gradient sans perdre les informations temporelles précises dans les trains à pointes. Par conséquent, afin d’utiliser correctement les SNN pour des tâches réelles, nous devrions développer une méthode d’apprentissage supervisé efficace. C’est une tâche très difficile, car cela impliquerait de déterminer comment le cerveau humain apprend réellement, compte tenu du réalisme biologique de ces réseaux.
Un autre problème, que nous sommes beaucoup plus près de résoudre, est que la simulation de SNN sur du matériel normal demande beaucoup de calculs car elle nécessite de simuler des équations différentielles. Cependant, le matériel neuromorphique tel que TrueNorth d’IBM vise à résoudre ce problème en simulant des neurones à l’aide de matériel spécialisé qui peut tirer parti de la nature discrète et clairsemée du comportement de pointe neuronal.
L’avenir des SNN reste donc incertain. D’une part, ils sont le successeur naturel de nos réseaux de neurones actuels, mais d’autre part, ils sont assez loin d’être des outils pratiques pour la plupart des tâches. Il existe actuellement des applications réelles des SNN dans le traitement d’images et d’audio en temps réel, mais la littérature sur les applications pratiques reste rare. La plupart des articles sur les SNN sont soit théoriques, soit montrent des performances inférieures à celles d’un simple réseau de 2e génération entièrement connecté. Cependant, de nombreuses équipes travaillent sur le développement de règles d’apprentissage supervisé SNN, et je reste optimiste pour l’avenir des SNN.