Feeds:
Articles
Commentaires

Posts Tagged ‘Faible densité informative’

Pour que  l’analyse d’une idée soit vraiment efficace il faut disposer d’un minimum d’informations à analyser. Même si la chose semble paradoxale, le meilleur moyen d’arriver au bon résultat c’est de ne pas trop avoir d’informations. Ce qu’il faut pour prendre une décision, c’est d’avoir une faible densité informative. Ma proposition peut sembler à contre-courant alors que partout on nous dit qu’il faut disposer d’un maximum d’informations pour prendre une bonne décision. Aussi paradoxale que la chose puisse paraître, moins nous avons d’informations, plus simple et efficace est notre catégorisation du monde qui nous entoure.

Par exemple, si vous présentez une image floue à quelqu’un sur un écran d’ordinateur, et que vous la rendez de moins en moins floue, le cerveau émettra des hypothèses au fur et à mesure que l’image sera de moins en moins floue. Si vous le faites, disons en dix étapes séparées et peu espacées les unes des autres dans le temps, votre cerveau émettra plus de dix hypothèses quant à la nature de l’image avant de la résoudre. Si vous le faites en cinq étapes un peu plus espacées dans le temps, le cerveau n’émettra que cinq hypothèses pour identifier l’image. Le principe derrière ce phénomène est le biais de confirmation. Notre cerveau, dès qu’il émet une hypothèse, cherche par tous les moyens à confirmer son hypothèse. Donc, plus vous avez d’informations, moins vous êtes efficace et plus vous cherchez à valider de fausses hypothèses. En fait, plus nous avançons dans le temps, plus nous avons d’informations à propos du mode de fonctionnement des événements, moins nos prédictions par rapport à ces mêmes événements sont valides.

Faible densité informative

Lorsque vous êtes en présence de trop d’informations, vous êtes perplexe et vous vous demandez quoi faire. Dans plusieurs cas, certains s’en remettent à la puissance de traitement des ordinateurs pour colliger toutes les données et les mettre en relation afin de déceler le schéma informatif sous-jacent. Et pourtant, en réalité, la seule vraie façon de pouvoir soutirer de la pertinence d’un ensemble d’informations, c’est lorsque vous êtes en présence d’une faible densité informative. Ça vous semble contre-intuitif? Voici mon point de vue sur la chose. John D. Barrow, dans son livre « La grande théorie[1] », aborde le problème de la façon suivante :

« […] inextricablement liée à la compressibilité algorithmique du monde est la capacité de l’esprit d’effectuer des compressions. Nos esprits ont pris comme supports les éléments du monde physique et ont été aiguisés, tout au moins partiellement, par le processus de sélection naturelle, pour devenir aujourd’hui coupants. Leur aptitude à censurer l’environnement et leur capacité de survie sont reliées de manière évidente à leur qualité de compression algorithmique. Plus le stockage et la codification de l’expérience naturelle de l’organisme sont efficaces et plus l’organisme peut écarter les dangers. Dans la phase la plus récente de l’histoire de l’homo sapiens, cette capacité a atteint de nouveaux sommets de sophistication. […] Plus précisément, nos esprits génèrent des simulations d’expériences passées dans le contexte de situations nouvelles, ce qui requiert un cerveau passablement exercé. Il est clair que les capacités mentales doivent passer un certain seuil pour effectuer une compression algorithmique digne de ce nom. On peut comprendre que ce ne soit pas le cas : s’ils étaient si fins qu’ils puissent consigner la plus petite information possible au sujet de tout ce que nous voyons et entendons, alors nos esprits seraient surchargés d’informations. […] Le fait que nos esprits abandonnent toute ambition de collection et de traitement total de l’information a pour conséquence que le cerveau effectue une compression algorithmique de l’Univers, qu’il soit ou non effectivement compressible. En pratique, le cerveau opère par troncature. »

Lorsque j’ai fait mes études doctorales en sciences cognitives au début des années 2000, cette idée simple et élégante de Barrow m’avait séduite, à savoir que le cerveau opère par troncature et compression algorithmique. Au fil des années, je me suis rendu compte d’une chose : le cerveau n’effectue pas de compression algorithmique. Il comble plutôt les trous d’informations. Je m’explique. S’il fallait que le cerveau procède par compression algorithmique, cela impliquerait forcément que lorsqu’il restitue l’information, celle-ci serait accessible dans son intégralité. Ce qui veut donc dire que le cerveau serait dans un constant processus de décompression pour ramener à notre conscience les événements passés et les informations dont nous avons besoin pour agir et réagir aux situations. Mais, la nature a une particularité bien précise : s’il y a un million de façons de faire une chose, elle choisira toujours l’option la plus simple.

Par exemple, nous savons tous que lorsque nous nous remémorons un fait ou un événement, celui-ci ne nous est jamais présenté dans son intégralité. Il faut donc supposer que le cerveau s’appuie plutôt sur une faible densité informative, et qu’il comble les trous pour nous fournir un portrait d’ensemble. Lors d’un procès, les avocats savent fort bien que la mémoire est une faculté qui oublie, et ils se servent de cette faille pour tenter de discréditer l’une ou l’autre partie. Donc, si le cerveau compresse l’information, c’est qu’il doit être capable de la décompresser. Et s’il est capable de la décompresser, il devrait au moins nous retourner une image assez fidèle de la totalité de cette même information. À l’évidence, ce n’est pas le cas, car nous avons toujours des trous béants.

Acquisition comprimée

Je n’aime pas l’exemple que je vais vous présenter, car il a tendance à faire un lien direct entre le fonctionnement d’un système informatique et le fonctionnement du cerveau. Par contre, il a au moins l’avantage de clarifier mon propos. Lorsque vous décompressez un fichier informatique, vous retrouvez l’intégralité de l’information de celui-ci. Il n’y a pas de trous dans l’information retournée. Elle est tout simplement restituée dans son intégralité. Même si le cerveau avait cette capacité de compresser l’information, même s’il est massivement parallèlement connecté du point de vue neuronal, il lui serait strictement impossible de conserver toutes les informations compressées. Il faut donc supposer que le cerveau utilise une tout autre méthode, soit celle de l’acquisition comprimée. L’analogie que je pourrais utiliser pour expliquer l’acquisition comprimée est la suivante : il suffit de relier l’ensemble des points pour obtenir une image globale, un peu comme dans les dessins où il faut relier les points selon une séquence déterminée.

Le cerveau fonctionne par acquisition comprimée. C’est-à-dire qu’il ne retient que l’essentiel et qu’il rejette dès le départ tout ce qui est superflu. Donc il ne compresse pas. C’est par la suite qu’il reconstruit une « image » globale en comblant les informations manquantes.

Si le cerveau ne compresse pas, alors comment fait-il pour relier les points entre eux et ajouter l’information manquante entre ceux-ci ? Encore ici, je vais procéder par analogie. Avez-vous entendu parler de la ℓ1 minimization ? Il s’agit d’un procédé algorithmique qui permet de reconstruire des images ou d’autres types d’informations à partir de données manquantes.

Un jour de février 2004, Emmanuel Candès, alors chercheur au CalTech, se demandait comment clarifier une image en provenance d’un système d’imagerie par résonance magnétique. Le problème, c’est que, parfois, le système n’a pas assez de temps pour compléter le processus de scanning. L’idée lui vint d’appliquer le filtre de la ℓ1 minimization, et surprise, il obtint au bout de l’opération une image tout à fait claire et détaillée. Surpris, il considéra la chose comme impossible et reprit l’opération sur d’autres images et le résultat fut le même. Il était donc possible de reconstituer une image à partir d’un minimum d’informations. Ce fut le début de l’ouverture d’un tout nouveau champ de recherche : le compressed sensing. Rapidement, des fonds de recherche furent alloués à plusieurs scientifiques pour développer les mathématiques les plus appropriées pour traiter différents types d’informations. Imaginez un peu la chose : des systèmes de résonance magnétique qui peuvent fournir une image au bout de quelques minutes plutôt que de quelques heures, sans compter tout le champ de traitement des données, de l’écoute électronique, des applications militaires, des applications économiques, de la génomique, etc. C’est donc un tout nouveau champ d’applications qui se développe.

Dans le domaine de l’informatique et des communications, il faut s’attendre à une révolution du traitement des données. Au lieu d’avoir des algorithmes de compression qui seront devenus obsolètes dans vingt ou cinquante ans, une simple procédure mathématique universelle permettra de reconstruire les images, les vidéos, les données, etc. Dans le domaine de l’imagerie médicale et astronomique, les retombées seront absolument sidérantes. Par exemple, si vous avez une sonde spatiale qui orbite autour de Saturne, vous n’avez pas le luxe d’avoir une mémoire embarquée importante et plusieurs processeurs pour compresser l’information. Il vous suffit donc de procéder par acquisition comprimée d’images et vous laissez le soin aux ordinateurs sur Terre de faire tout le travail de reconstitution. Voici comment fonctionne le processus :

  1. Une caméra capture seulement qu’une partie de l’information disponible de façon aléatoire.
  2. L’algorithme ℓ1 minimization est appliqué. Celui-ci commence tout d’abord par choisir arbitrairement l’une des multiples façons de combler l’information manquante.
  3. L’algorithme tente de définir la nature de la faible densité informative de l’image. Pour ce faire, il tente de modifier l’image par des couches colorées successives.
  4. L’algorithme insère de simples rectangles qui se marient à la couleur du pixel adjacent. S’il détecte quatre pixels verts adjacents, il ajoute un pixel vert.
  5. Itération après itération, l’algorithme ajoute les plus simples formes possible tout en poursuivant sa recherche de faible densité informative. Éventuellement, il arrive à produire une image qui est presque la reconstitution parfaite de l’image originale.

Maintenant, imaginez cette technique appliquée aux enquêtes policières. À partir de bandes vidéo pas toujours très claires et souvent floues, il devient désormais possible de clarifier le tout et d’avoir une image nette et précise. Dans le domaine de la sécurité, il est certain que cette technique a un bel avenir, surtout que nous exigeons de plus en plus de mesures de contrôle pour nous protéger de l’imprévisible. Mais au-delà des prouesses techniques, la notion d’acquisition comprimée a un avantage encore plus intéressant pour nous. Elle nous permet d’envisager comment pourrait fonctionner le cerveau dans la classification du monde qu’il nous propose. Imaginez maintenant toutes les possibilités qui s’offrent à nous en terme de classification et d’organisation du Web.


[1] Barrow John D., La grande théorie, coll. Champs, Flammarion, Paris, 1996, p. 250.

Publicités

Read Full Post »