Bayesiens, RL & compréhension vidéo, publications conseillées mai 2017

De nouvelles publications scientifiques sortent régulièrement dans notre domaine. Les suivre toutes reste impossible, nous nous permettons de mettre ici une petite sélection de publications en Deep Learning intéressantes et susceptibles de faire particulièrement évoluer les outils théoriques et pratiques que nous utilisons au jour le jour. Au programme : approche Bayesienne, reinforcement learning et classification/compréhension de vidéos

• Bayesian Recurrent Neural Networks - Meire Fortunato Charles Blundell Oriol Vinyals. Rappelons-nous que les réseaux de neurones aujourd'hui souffrent d'un grave déficit en termes de justification mathématique. Ce manque a de nombreuses conséquences dont particulièrement ce côté "Meccano" que l'on observe parfois dans l'architecture de réseaux. Aussi devons-nous saluer quand l'approche Bayesienne vient s'intéresser au Deep Learning. Ici, la définition d'une nouvelle forme de convergence basée sur une fonction de coût ad-hoc force les poids d'un réseau à s'adapter à un posterior. Au delà de résultats intéressants, cette approche permet de disposer d'une information supplémentaire : la confiance du réseau dans ses prédictions, contrairement aux réseaux "usuels" qui sont incapables de pondérer leurs prédictions. Le "Bayes by Backprop" mis en avant peut de plus être envisagé sur de nombreuses autres architectures...
• Stochastic Gradient Descent as Approximate Bayesian Inference - Stephan Mandt Matthew D. Hoffman David M. Blei(https://arxiv.org/abs/1704.04289). Le SGD est une des pierres angulaires des approches Machine & Deep Learning, offrant une méthodologie fiable pour faire converger un réseau vers une distribution finale. Comprendre au maximum cette méthodologie et donc un enjeu très fort. Ici, les auteurs éudient le cas d'une SGD sur un pas constant et permettent, en faisant le lien avec les Markov Chain Monte Carol (un outil fondamental d'approximation statistique), de visualiser cette démarche comme une forme d'inférence Bayesienne, et proposent un grand nombre d'améliorations sur la mise en place de cette technique. La publication est assez exigente sur le plan mathématique mais risque de rester dans les annales pour les nouvelles perspectives proposées.
• Autonomous reinforcement learning on raw visual input data in a real world application - Sascha Lange Martin Riedmiller Arne Voigtlander(http://ml.informatik.uni-freiburg.de/_media/publications/rieijcnn12.pdf). Nous revenons sur des problématiques beaucoup plus applquéées et suggérons cette publication à toute personne intéressée par le Reinforcement Learning. Ici, l'enjeu est intéressant dans la mesure où le réseau apprend à contrôler une voiture téléguidée uniquement à partir des vues d'une caméra, et le problème a été approché d'une manière particulièrement intelligente. On notera tout particulièrement l'usage de l'auto-encoder pour générer un espace latent sur lequel les algorithmes RL travaillent et réussissent à converger.
• Learning to Poke by Poking: Experiential Learning of Intuitive Physics - Pulkit Agrawal Ashvin Nair Pieter Abbeel Jitendra Malik Sergey Levine(https://arxiv.org/abs/1606.07419). Reinforcement Learning toujours avec cette publication plus ambitieuse, où des chercheurs entraînent une architecture de réseaux à appréhender des règles physiques simple en contrôlant un bras robot interagissant avec des objets. Les résultats sont intéressants, d'autant que le résultat semble capable de généraliser sur des objets à la géométrie inconnue (vis à vis du set d'entrainement). Le modèle s'entraine sur des couples d'images et appliquent deux modèles : le premier responsable d'interpréter les images (forward model de type AlexNet/CNN) et de générer des variables latentes, le second (inverse model) interpétant ces variables latentes pour générer les actions à effectuer.
• SfM-Net: Learning of Structure and Motion from Video - Sudheendra Vijayanarasimhan Susanna Ricco Cordelia Schmid Rahul Sukthankar Katerina Fragkiadaki(https://arxiv.org/abs/1704.07804). La compréhension de vidéos par réseaux de neurones est un enjeu sur lequel de nombreux laboratoires et acteurs s'investissent, donnant naissance à des réseaux de plus en plus spécialisés. Ici, la compréhension a été poussée très loin, dans la mesure où ce réseau apprend à retrouver pour une série d'images la profondeur 3d de la scène, les paramètres de la caméra et les mouvements des objets avant de générer un résultat final. Très spécialisé et à ce titre très intéressant.