L'incommensurable peut s'entendre de plusieurs manières. Le mot, au sens propre, désigne ce qui ne peut pas être mesuré avec autre chose, ce qui n'entre pas dans un rapport de mesure. Deux choses qui n'ont rien en commun, qui n'ont aucune qualité commune, sont incommensurables. Par extension, incommensurable peut cependant être pris dans le sens de immense, de ce qui par ses excès est hors de la mesure. Il s'agit cependant d'un sens dérivé que nous laisserons de côté. Les Grecs furent confrontés à l'incommensurable sous la forme de ce qu'on devait appeler plus tard les nombres irrationnels : la diagonale du carré ne peut pas être rapportée à la longueur du côté, ni la circonférence du cercle à son diamètre. Que l'incommensurable et l'irrationnel aient un rapport originel aussi intime, cela doit nous alerter : l'incommensurable n'est-il pas d'une manière général ce qui échappe à la raison, ou encore ce dont la raison ne peut rendre compte puisque la raison comme ratio est d'abord une capacité de mettre en rapport ? Ce qui laisserait supposer que raison et mesure sont non seulement liées mais s'identifient. Pourtant le nombre irrationnel n'est pas un nombre infirme, un nombre "moins nombre" que les entiers ou les rationnels. L'irrationnel a été "apprivoisé" et il est devenu tout à fait raisonnable. Si on prend le terme incommensurable dans son sens étendu, il en va de même : on sait maintenant calculer avec l'infini et de, toutes façons, notre époque n'a pas pour l'ubris la même hantise que la Grèce classique. Autrement dit, la raison humaine a appris à mesurer l'incommensurable. L'incommensurable ne serait-il donc qu'un incommensurable relatif, un incommensurable transitoire, destiné à être réduit un jour où l'autre par le patient travail de la raison humaine ou de la science ?
Si on prend l'incommensurable à son sens premier, on doit nécessairement partir de cette relation étrange que les pythagoriciens mirent en évidence entre le côté du carré et la diagonale. L'impossibilité d'écrire le nombre √ 2 sous la forme d'une fraction réduite p/q (avec p, q dans N) qui se démontre assez aisément – d'ailleurs à l'aide de l'un de ces raisonnements par l'absurde qu'affectionnaient tant les Grecs – oblige à penser que la longueur du côté et la longueur de la diagonale s'expriment par des nombres de genres différents. Or les segments de droite formant le côté et les diagonales sont pourtant de même nature. Rien ne distingue le fil tendu le long du côté et le fil tendu le long de la diagonale. D'ailleurs, l'esclave du Menon a appris comment une diagonale pouvait facilement devenir le côté d'un nouveau carré et comment le caractère étrange de cet irrationnel √2 disparaissait facilement dans l'opération consistant à construire un carré dont la surface est le double de celle du carré original. Autrement dit l'irrationalité ne touche pas les formes mais l'expression sous forme de nombre. Tant qu'il s'agit de géométrie, tant qu'il s'agit de travailler avec la règle et le compas, le mathématicien grec ne rencontre aucun irrationnel. La diagonale est un segment de droite parfaitement normal, un segment qui n'est atteint d'aucune pathologie particulière. C'est le passage à la mesure qui ouvre un abîme. Autrement dit, même si on s'en tient à ces balbutiements de mathématiques l'incommensurable n'échappe pas à la raison en général mais seulement à la "ratio". L'incommensurabilité de la diagonale et du côté ne tient qu'en ceci que je ne peux trouver un nombre entier ou une fraction d'entiers permettant d'exprimer cette mesure qui a été faite logiquement avec le théorème de Pythagore. D'une part, ceci tempère ipso facto les soupçons que nous avions émis en introduction, qui identifiaient l'incommensurable avec la déraison. D'autre part, il apparaît nettement que si la mesure s'exprime toujours "in fine" par un nombre, ou plus exactement par un nombre qui exprime un rapport (la mesure se fait toujours par rapport à une unité conventionnelle) et donc appartient nécessairement et au sens mathématique du terme à l'ensemble des nombres rationnels, elle ne peut cependant se réduire à ce nombre. L'incommensurabilité de la diagonale et du côté apparaît ainsi d'autant plus paradoxale que je sais engendrer la diagonale à partir du côté et que donc la diagonale et le côté sont bien du même genre.
Plaçons-nous maintenant d'un point de vue plus pratique. Cette incommensurabilité est de plus quelque chose d'assez insaisissable pour celui qui effectue pratiquement des mesures – par exemple pour l'arpenteur ; pour lui mesurer 1,414 ou √2, ce sont là des choses aussi difficiles à faire puisqu'il se trouvera confronté à des incertitudes qui ne dépendent pas du genre de la longueur à mesurer mais des instruments employés et des conditions générales de l'expérimentation. Dans l'absolu, pour l'homme de terrain, les longueurs sont toujours incommensurables: il restera toujours une petite erreur, aussi petite qu'on voudra, dans la mise en rapport de la chose à mesurer et de l'instrument. Corrigeons d'ailleurs immédiatement cette dernière phrase : l'erreur ne sera pas aussi petite qu'on voudra puisque si nous descendons dans l'ordre de l'infiniment petit, nous allons être confrontés aux principes de la mécanique quantique : plus nous voudrons avoir une grande précision, plus nous devrons utiliser un instrument disposer d'un faisceau lumineux à onde courte. Plus l'onde est courte plus l'énergie du quantum est grande (w = h.n ) et donc plus la mesure perturbe la chose à mesurer. Conséquence théorique : ce qui est de l'ordre subatomique serait incommensurable absolument. L'incommensurable qui surgissait dans la science nombre réapparaît dans la physique ; la théorie quantique pose une limite presque ontologique à la mesure. La constante de Planck définirait ainsi la plage d'ombre de l'incommensurable.
Cependant, dans le même temps, l'homme pratique, l'expérimentateur, en s'appuyant sur des méthodes mathématiques rigoureuses, a appris à s'accommoder de l'incommensurable et sait substituer des mesures pratiques à l'incommensurabilité théorique. On ne sait pas exprimer π sous forme d'une suite finie ou régulière de chiffres décimaux, mais cela n'empêche personne de calculer la surface d'un cercle! Les Grecs eux-mêmes utilisaient de bonnes approximations et ont découvert les méthodes qui permettaient de réduire l'incommensurable, notamment par des encadrements. La théorie axiomatique des nombres permet de se débarrasser des incommensurables en rompant tout lien entre les nombres et leur représentation géométrique qu'Euclide jugeait pourtant indispensable. Les physiciens, de leur côté, ont construit une mécanique statistique quantique qui permet de faire du principe d'incertitude un moyen de prédictions extraordinairement précises.
Il semble donc que l'incommensurable pris dans son sens mathématique ou physique n'est qu'une trace des difficultés passées de l'histoire des sciences que la théorie des nombres, appelée de ses vœux par Leibniz et réalisée au XIXe et XXe siècles, et le perfectionnement des méthodes statistiques ont surmontées.
Les paradoxes des incommensurables pourtant ne sont pas entièrement résolus. Le problème de l'incommensurable ne surgit-il pas à nouveau avec les difficultés de la théorie des ensembles. La mesure d'un ensemble est sa cardinalité. Les ensembles infinis dénombrables sont des ensembles à partir desquels on peut définir une bijection stricte vers N l'ensemble des entiers naturels. Or si l'ensemble des nombres rationnels a la même cardinalité de N – contrairement à ce que pourrait laisser entendre notre intuition immédiate – il n'en va pas même avec l'ensemble des réels. L'ensemble des réels est "plus infini" que l'ensemble des nombres rationnels. Les irrationnels, loin d'être des anomalies, loin de "boucher les trous" dans l'ensemble des nombres rationnels, introduisent quelque chose de nouveau dans les ensembles de nombres, le continu, ou du moins donne une nouvelle définition du continu. La définition des incommensurables donnée par Dedekind induit l'idée que les incommensurables sont les nombres qui en quelque sorte assurent la continuité de l'ensemble des réels ; ainsi le nombre √2 est-il défini comme le symbole du fait que l'ensemble des nombres commensurables dont le carré est inférieur ou égal à 2 et celui des nombres commensurables dont le carré est supérieur ou égal à 2 sont deux ensembles disjoints. Le premier n'a pas de plus grand élément et le second n'a pas de plus petit élément.
Y aurait-il donc un lien entre incommensurable et continu ? Les rationnels expriment des rapports d'unités ; ils sont essentiellement discrets et la forme du développement décimal périodique de certains d'entre eux ne doit pas égarer car cette forme est purement conventionnelle : ainsi le nombre 1/3 qui s'exprime comme 0,333... en base décimale devient tout simplement 0,1 en base 3. Autrement dit l'infini qui apparaissait dans le développement décimal s'évanouit si on change simplement de convention de numération. Avec les nombres irrationnels ou incommensurables, la suite infinie de décimales n'est nullement réductible par un changement de base. Les nombres sont représentés par des combinaisons d'éléments discrets, les "digits", éléments binaires, chiffres du système décimal, chiffres décimaux et six premières lettres de l'alphabet en système hexadécimal, etc.. Les règles de combinaison du système de numération permettent de voir l'ensemble des "digits" muni de ces règles de combinaison comme un système formel. Or les incommensurables n'ont pas de place dans ce système formel. On peut en baptiser quelques-uns, leur donner des notations particulières comme √2, √3, πou e, cela apparaît comme un expédient : car il faut autant de notations différentes qu'il y a de nombres irrationnels différents. Les notations algébriques permettent de représenter n'importe quel nombre réel quand le besoin s'en fait sentir, mais on ne peut pas trouver d'algorithme général permettant de les engendrer tous par l'imagination comme on pourrait le faire avec les rationnels. La méthode de la diagonale imaginée par Cantor qui démontre que l'ensemble des réels n'est pas dénombrable est révélatrice de l'esprit avec lequel nous sommes contraints d'aborder les incommensurables. On montre qu'on sait en construire un mais on n'a pas de méthode générique. On montre qu'on saura faire ce qu'il faut quand les circonstances l'exigeront. Mais il faut renoncer à embrasser d'un seul coup les nombres possibles à partir d'un ensemble fini de règles de production.
Autrement dit, les nombres incommensurables ou irrationnels demeurent dans leur étrangeté, non parce qu'ils échappent à la raison en général, ni même au formalisme, mais parce qu'ils échappent à tout système de dénombrement. N'est-ce pas dû au fait que les systèmes formels sont essentiellement discrets alors que les incommensurables sont de l'ordre du continu ? Là encore, il convient d'écarter les intuitions géométriques initiales. L'ensemble P(N) formé de toutes les parties qu'on peut constituer dans l'ensemble des entiers naturels semble au premier abord un ensemble d'éléments discrets : {0}, {1}, {0,1},... voilà des éléments qui se suivent en bon ordre et ne promettent pas de surprise, sauf peut-être une explosion combinatoire. Or la cardinalité de cet ensemble en apparence discret est la même que celle de l'ensemble des réels. Il possède ce que, depuis Cantor, on a appelé la puissance du continu. Ce qui vient renforcer l'idée présentée également par Cantor — mais déjà présente chez Leibniz — selon laquelle les nombres irrationnels peuvent être représentés par des suites infinies de nombres rationnels : avec P(N) on dispose de toutes les suites nécessaires pour représenter non seulement les nombres rationnels mais aussi tous les irrationnels. Mais ceci suppose que l'on dispose actuellement d'ensembles infinis. Or l'infini pour les mathématiciens n'a longtemps été qu'une façon de parler, l'infini "syncatégorématique" disait-on, mais nullement un tout complet sur lequel on puisse compter. La théorie des limites permettait justement d'éviter d'avoir recours à l'infini en acte. Sans développer plus cette question, nous sommes arrivés à un point où il semble qu'on ne peut échapper aux difficultés des incommensurables qu'en retombant dans les paradoxes de l'infini. Cependant, le gain est important : non seulement une construction déductive des nombres est possible mais nous pouvons également "compter" le nombre d'éléments d'ensembles infinis ; nous savons qu'il y a autant d'éléments dans l'ensemble des nombres pairs que dans l'ensemble des nombres naturels et autant de points dans une droite que dans un plan. Les nombres transfinis permettent de définir des ordres dans l'infini. De plus, est apparue une relation étroite entre continu et incommensurable. Cette relation mérite d'être explicitée. Le continu traditionnellement est défini comme une possibilité de divisibilité à l'infini. Si on divise un segment en deux puis encore en deux et ainsi de suite à l'infini, on pourra toujours trouver un point médian. Pourtant, cette opération, aussi poussée qu'on le voudra, ne permet pas de définir tous les points du segment. Un nombre infini de points échappent à cette opération de division à l'infini. Autrement dit, en divisant à l'infini un segment de droite on n'a nullement prouvé sa continuité puisque ce segment reste "troué"; et c'est naturel puisque l'opération de division à l'infini ne nous donne que des mesures rationnelles. Ce sont les nombres incommensurables qui "bouchent les trous" et prouvent cette continuité. C'est bien là sans doute le résultat le plus important de la démonstration de la diagonale de Cantor.
Le problème de l'incommensurable trouve ici une solution dans l'esprit de Leibniz : nous ne pouvons pas avoir d'intuition des incommensurables, nous ne pouvons pas les comprendre au sens strict, puisque cette intuition donnée dans l'idée de divisibilité à l'infini se révèle fausse, mais nous pouvons les manipuler algorithmiquement, déterminer des moyens de les produire ou de les calculer sans faire le calcul.
Les difficultés de l'incommensurable mathématique se retrouvent dans le domaine de la science physique et là aussi elles trouvent une solution qui n'est pas simplement une solution pratique mais aussi une solution théorique, du moins tant qu'on accepte le cadre de la mécanique quantique. Le quantum qui apparaît comme la limite en deçà de laquelle toute mesure est impossible peut aussi bien être conçu d'un point de vue discontinuiste (atomiste) que d'un point de vue continuiste comme dans la mécanique ondulatoire de Louis de Broglie. Cette conception duale onde-corpuscule apparaît scandaleuse si on donne pour but à la physique d'être la science de l'être en soi. Mais si on fait de la physique une théorie physique dont l'objet est de formaliser l'expérience, le scandale disparaît. Il n'y a aucun sens à chercher à mesurer en deçà du quantum puisque ce qui détermine le sens de la mesure c'est précisément la théorie de la mécanique quantique. Il y a une version "kantienne" de cette conjoncture de la science moderne : la mécanique quantique permettrait de rendre compte du monde de l'expérience, l'être en soi restant inconnaissable et le quantum élémentaire représenterait alors, en tant que limite de la mesure la limite de notre raison mesurante, l'être en-soi étant incommensurable. Les théoriciens de l'école de Copenhague -- Heisenberg et Bohr -- acceptent la première partie de cette présentation mais rejettent la deuxième. Pour eux, il n'y a aucun sens à essayer de garder l'être en-soi, le noumène kantien ; ce n'est qu'une supposition métaphysique qui est hors de propos dans une théorie scientifique rigoureuse.
Cet optimisme épistémologique, qui nous montre la science moderne, aussi bien mathématique que physique, en voie de réduire l'incommensurable, peut-il maintenant être accepté sans autre forme de procès. Cela suppose que les mathématiques pures et la physique mathématique donnent le modèle de toute connaissance ou encore que le modèle réductionniste qui est, de fait, et non sans raisons, le modèle de la méthode scientifique depuis le début des temps modernes, est un modèle indépassable. Les objections contre ce modèle sont bien connues, de Bergson protestant contre la réduction du vivant à l'inerte à la critique des méthodes de mesure dans les sciences humaines. Oublier qu'il y a dans l'être de l'incommensurable, c'est, selon ces critiques, manquer l'être lui-même. Il y a là le plus souvent deux questions qui sont mélangées et qui pourtant devraient être distinguées soigneusement. Ainsi de la question de l'intelligence humaine : les diverses méthodes permettant de définir une mesure de l'intelligence, de la craniométrie aux tests de Binet et au QI moderne, ont été soumises à une critique acérée, notamment par Stephen Jay Gould dans son livre "La mal-mesure de l'homme" (mais au fond, Hegel avait déjà dit l'essentiel). Or le titre lui-même recèle ce mélange de questions : les tests du QI mesurent-ils mal l'intelligence humaine – et dans ce cas on devrait chercher une meilleure mesure — ou, au contraire, l'intelligence humaine est-elle en soi incommensurable ? Les critiques portent en général sur les deux aspects. D'une part, le QI suppose un acquis culturel bien déterminé et fait fi des cultures qui sont éloignées du modèle occidental ; pour pallier ces défauts, il suffirait de construire des batteries de tests plus neutres, permettant de mesurer des aptitudes plus fondamentales. D'autre part, c'est l'idée même de mesurer l'intelligence qui est récusée. Comment en effet mesurer quelque chose que nous n'appréhendons qu'à travers des manifestations concrètes si diverses et si manifestement éloignées les unes des autres ? Dans son petit livre sur "La mesure", François Dagognet réfute ces critiques en montrant qu'on atteint une couche plus profonde de l'être en réduisant les différences de qualités concrètes incommensurables à une commune mesure quantitative, et que, même si ces mesures sont conventionnelles et approchées, elles donnent plus de connaissance que le simple constat des différences de qualité.
Posée dans ces termes, la discussion est interminable, sauf à s'en tenir à un statu quo qui laisse la mesure aux sciences "dures", c'est-à-dire physiques, et l'interprétation aux "sciences morales", dans le sens de l'herméneutique de Dilthey. Les tests de Binet n'ont sans doute pas permis de mesurer l'intelligence ; par contre, ils n'étaient pas dénués d'intérêt comme une première approche pour détecter le retard scolaire. L'erreur ici n'est pas dans la mesure mais dans le caractère qu'on lui donne et le contexte dans lequel elle est effectuée. Stephen Jay Gould, dans l'ouvrage déjà cité, montre que les tests de QI ont été utilisés pour prouver l'hérédité de l'intelligence et justifier les discriminations raciales. Inversement les tests de Binet ont longtemps été utilisés par les pédagogues progressistes dans le but de mettre en œuvre de pédagogie de soutien permettant aux enfants culturellement défavorisés de surmonter leur handicap initial. L'individu reste un être absolument singulier et en tant que tel incommensurable et les tests ne nous diront rien sur son essence individuelle. Par contre, le test peut être un outil pratique — ou une arme meurtrière — dans une conjoncture sociale déterminée. Et donc le test ici mesure bien une réalité sociale qui est aussi au moins une des réalités de l'individu vivant.
Inversement, il n'est pas certain que l'incommensurable ne garde pas une place dans les sciences physiques. Contre la toute puissance de la physique mathématique et contre la domination sans partage de la mécanique quantique, qu'il qualifie de "plus grand scandale intellectuel du siècle", le mathématicien René Thom veut réhabiliter une science des formes, une science plus "qualitative". N'y aurait-il pas en effet dans l'être, même réduit à l'être physique, des connaissances qui nous échappent à partir du moment où les formes singulières sont réduites à leur mesure ? N'y aurait-il donc pas quelque chose d'essentiel résidant dans ce qui est incommensurable, dans la considération des choses indépendamment des rapports de longueur, de largeur, de hauteur, etc. ? Leibniz, avec son analysis situs, avait pensé une science plus essentielle que la géométrie, une telle science des formes. La géométrie analytique permet de définir l'équation d'une courbe ; elle permettrait même, selon Leibniz, de donner l'équation mathématique de n'importe quelle ligne tracée au hasard. Pourtant, dans un grand nombre de problèmes de physique, ce n'est pas l'équation qui compte, ce n'est pas la mesure dans un espace normé, mais c'est de savoir s'il y a un pic ou un puits. La "théorie des catastrophes" — dont la dénomination a produit de nombreux malentendus — vise précisément à expliquer des phénomènes naturels ou sociaux en ne tenant compte que des formes concrètes sous lesquelles ces phénomènes peuvent être modélisés, indépendamment de toute considération de mesure. Elle cherche à mettre en évidence des causalités que la mesure masque. Ici le renversement de perspective est radical : l'incommensurable n'est plus la limite de la connaissance mais au contraire le terrain même sur lequel elle peut se déployer. Cela ne veut pas dire que cette science des formes ne se soumette pas elle-même à un traitement mathématique. La topologie est une branche des mathématiques aussi noble que les autres. La "mathématique du chaos" — autre terme fort "médiatique" et ouvrant à des utilisations tendancieuses — cherche à modéliser ces formes particulières que les équations intégrables ne parviennent pas à cerner. Mais il ne s'agit plus de mesure au sens strict du terme. Qu'on puisse dessiner des formes montagneuses ou le découpage de la côte bretonne à l'aide des fractales ne nous dit pas que la loi de formation réelle des montagnes ou des côtes bretonnes est donnée par l'équation de la fractale. Il ne s'agit plus de mesure mais de simulation de formes, d'analogies qui cherchent justement à représenter l'incommensurable.
L'incommensurable apparaît bien en première approche comme un incommensurable transitoire, un incommensurable destiné à être mesuré à son tour. Mais si la raison semble de mieux en mieux équipée pour mesurer "le monde", si le champ de la science semble s'étendre sans cesse et si le discours scientifique prouve ses dires par un efficacité technique redoutable, l'incommensurable semble logé au cœur même de la raison. L'incommensurable apparaît comme une limite de la connaissance. Mais cette limite n'est jamais absolue, elle est repoussée pour ressurgir sous une autre forme un peu plus tard. Nous sommes comme pris dans une oscillation : d'une part, refuser qu'il y ait de l'incommensurable apparaît comme un postulat pratique utile dans la marche de la science. Mais d'un autre côté, faire de ce postulat pratique un postulat de la raison théorique, c'est outrepasser ce que nous pouvons affirmer raisonnablement. Il nous faut donc admettre l'incommensurable comme un horizon, une limite de notre connaissance actuelle, en tant qu'elle est une connaissance basée sur la mesure, mais aussi peut-être reconnaître, contre le scientisme, qu'il y a des connaissances, des savoirs vrais, qui portent sur les choses incommensurables.
Plaçons-nous maintenant d'un point de vue plus pratique. Cette incommensurabilité est de plus quelque chose d'assez insaisissable pour celui qui effectue pratiquement des mesures – par exemple pour l'arpenteur ; pour lui mesurer 1,414 ou √2, ce sont là des choses aussi difficiles à faire puisqu'il se trouvera confronté à des incertitudes qui ne dépendent pas du genre de la longueur à mesurer mais des instruments employés et des conditions générales de l'expérimentation. Dans l'absolu, pour l'homme de terrain, les longueurs sont toujours incommensurables: il restera toujours une petite erreur, aussi petite qu'on voudra, dans la mise en rapport de la chose à mesurer et de l'instrument. Corrigeons d'ailleurs immédiatement cette dernière phrase : l'erreur ne sera pas aussi petite qu'on voudra puisque si nous descendons dans l'ordre de l'infiniment petit, nous allons être confrontés aux principes de la mécanique quantique : plus nous voudrons avoir une grande précision, plus nous devrons utiliser un instrument disposer d'un faisceau lumineux à onde courte. Plus l'onde est courte plus l'énergie du quantum est grande (w = h.n ) et donc plus la mesure perturbe la chose à mesurer. Conséquence théorique : ce qui est de l'ordre subatomique serait incommensurable absolument. L'incommensurable qui surgissait dans la science nombre réapparaît dans la physique ; la théorie quantique pose une limite presque ontologique à la mesure. La constante de Planck définirait ainsi la plage d'ombre de l'incommensurable.
Cependant, dans le même temps, l'homme pratique, l'expérimentateur, en s'appuyant sur des méthodes mathématiques rigoureuses, a appris à s'accommoder de l'incommensurable et sait substituer des mesures pratiques à l'incommensurabilité théorique. On ne sait pas exprimer π sous forme d'une suite finie ou régulière de chiffres décimaux, mais cela n'empêche personne de calculer la surface d'un cercle! Les Grecs eux-mêmes utilisaient de bonnes approximations et ont découvert les méthodes qui permettaient de réduire l'incommensurable, notamment par des encadrements. La théorie axiomatique des nombres permet de se débarrasser des incommensurables en rompant tout lien entre les nombres et leur représentation géométrique qu'Euclide jugeait pourtant indispensable. Les physiciens, de leur côté, ont construit une mécanique statistique quantique qui permet de faire du principe d'incertitude un moyen de prédictions extraordinairement précises.
Il semble donc que l'incommensurable pris dans son sens mathématique ou physique n'est qu'une trace des difficultés passées de l'histoire des sciences que la théorie des nombres, appelée de ses vœux par Leibniz et réalisée au XIXe et XXe siècles, et le perfectionnement des méthodes statistiques ont surmontées.
Les paradoxes des incommensurables pourtant ne sont pas entièrement résolus. Le problème de l'incommensurable ne surgit-il pas à nouveau avec les difficultés de la théorie des ensembles. La mesure d'un ensemble est sa cardinalité. Les ensembles infinis dénombrables sont des ensembles à partir desquels on peut définir une bijection stricte vers N l'ensemble des entiers naturels. Or si l'ensemble des nombres rationnels a la même cardinalité de N – contrairement à ce que pourrait laisser entendre notre intuition immédiate – il n'en va pas même avec l'ensemble des réels. L'ensemble des réels est "plus infini" que l'ensemble des nombres rationnels. Les irrationnels, loin d'être des anomalies, loin de "boucher les trous" dans l'ensemble des nombres rationnels, introduisent quelque chose de nouveau dans les ensembles de nombres, le continu, ou du moins donne une nouvelle définition du continu. La définition des incommensurables donnée par Dedekind induit l'idée que les incommensurables sont les nombres qui en quelque sorte assurent la continuité de l'ensemble des réels ; ainsi le nombre √2 est-il défini comme le symbole du fait que l'ensemble des nombres commensurables dont le carré est inférieur ou égal à 2 et celui des nombres commensurables dont le carré est supérieur ou égal à 2 sont deux ensembles disjoints. Le premier n'a pas de plus grand élément et le second n'a pas de plus petit élément.
Y aurait-il donc un lien entre incommensurable et continu ? Les rationnels expriment des rapports d'unités ; ils sont essentiellement discrets et la forme du développement décimal périodique de certains d'entre eux ne doit pas égarer car cette forme est purement conventionnelle : ainsi le nombre 1/3 qui s'exprime comme 0,333... en base décimale devient tout simplement 0,1 en base 3. Autrement dit l'infini qui apparaissait dans le développement décimal s'évanouit si on change simplement de convention de numération. Avec les nombres irrationnels ou incommensurables, la suite infinie de décimales n'est nullement réductible par un changement de base. Les nombres sont représentés par des combinaisons d'éléments discrets, les "digits", éléments binaires, chiffres du système décimal, chiffres décimaux et six premières lettres de l'alphabet en système hexadécimal, etc.. Les règles de combinaison du système de numération permettent de voir l'ensemble des "digits" muni de ces règles de combinaison comme un système formel. Or les incommensurables n'ont pas de place dans ce système formel. On peut en baptiser quelques-uns, leur donner des notations particulières comme √2, √3, πou e, cela apparaît comme un expédient : car il faut autant de notations différentes qu'il y a de nombres irrationnels différents. Les notations algébriques permettent de représenter n'importe quel nombre réel quand le besoin s'en fait sentir, mais on ne peut pas trouver d'algorithme général permettant de les engendrer tous par l'imagination comme on pourrait le faire avec les rationnels. La méthode de la diagonale imaginée par Cantor qui démontre que l'ensemble des réels n'est pas dénombrable est révélatrice de l'esprit avec lequel nous sommes contraints d'aborder les incommensurables. On montre qu'on sait en construire un mais on n'a pas de méthode générique. On montre qu'on saura faire ce qu'il faut quand les circonstances l'exigeront. Mais il faut renoncer à embrasser d'un seul coup les nombres possibles à partir d'un ensemble fini de règles de production.
Autrement dit, les nombres incommensurables ou irrationnels demeurent dans leur étrangeté, non parce qu'ils échappent à la raison en général, ni même au formalisme, mais parce qu'ils échappent à tout système de dénombrement. N'est-ce pas dû au fait que les systèmes formels sont essentiellement discrets alors que les incommensurables sont de l'ordre du continu ? Là encore, il convient d'écarter les intuitions géométriques initiales. L'ensemble P(N) formé de toutes les parties qu'on peut constituer dans l'ensemble des entiers naturels semble au premier abord un ensemble d'éléments discrets : {0}, {1}, {0,1},... voilà des éléments qui se suivent en bon ordre et ne promettent pas de surprise, sauf peut-être une explosion combinatoire. Or la cardinalité de cet ensemble en apparence discret est la même que celle de l'ensemble des réels. Il possède ce que, depuis Cantor, on a appelé la puissance du continu. Ce qui vient renforcer l'idée présentée également par Cantor — mais déjà présente chez Leibniz — selon laquelle les nombres irrationnels peuvent être représentés par des suites infinies de nombres rationnels : avec P(N) on dispose de toutes les suites nécessaires pour représenter non seulement les nombres rationnels mais aussi tous les irrationnels. Mais ceci suppose que l'on dispose actuellement d'ensembles infinis. Or l'infini pour les mathématiciens n'a longtemps été qu'une façon de parler, l'infini "syncatégorématique" disait-on, mais nullement un tout complet sur lequel on puisse compter. La théorie des limites permettait justement d'éviter d'avoir recours à l'infini en acte. Sans développer plus cette question, nous sommes arrivés à un point où il semble qu'on ne peut échapper aux difficultés des incommensurables qu'en retombant dans les paradoxes de l'infini. Cependant, le gain est important : non seulement une construction déductive des nombres est possible mais nous pouvons également "compter" le nombre d'éléments d'ensembles infinis ; nous savons qu'il y a autant d'éléments dans l'ensemble des nombres pairs que dans l'ensemble des nombres naturels et autant de points dans une droite que dans un plan. Les nombres transfinis permettent de définir des ordres dans l'infini. De plus, est apparue une relation étroite entre continu et incommensurable. Cette relation mérite d'être explicitée. Le continu traditionnellement est défini comme une possibilité de divisibilité à l'infini. Si on divise un segment en deux puis encore en deux et ainsi de suite à l'infini, on pourra toujours trouver un point médian. Pourtant, cette opération, aussi poussée qu'on le voudra, ne permet pas de définir tous les points du segment. Un nombre infini de points échappent à cette opération de division à l'infini. Autrement dit, en divisant à l'infini un segment de droite on n'a nullement prouvé sa continuité puisque ce segment reste "troué"; et c'est naturel puisque l'opération de division à l'infini ne nous donne que des mesures rationnelles. Ce sont les nombres incommensurables qui "bouchent les trous" et prouvent cette continuité. C'est bien là sans doute le résultat le plus important de la démonstration de la diagonale de Cantor.
Le problème de l'incommensurable trouve ici une solution dans l'esprit de Leibniz : nous ne pouvons pas avoir d'intuition des incommensurables, nous ne pouvons pas les comprendre au sens strict, puisque cette intuition donnée dans l'idée de divisibilité à l'infini se révèle fausse, mais nous pouvons les manipuler algorithmiquement, déterminer des moyens de les produire ou de les calculer sans faire le calcul.
Les difficultés de l'incommensurable mathématique se retrouvent dans le domaine de la science physique et là aussi elles trouvent une solution qui n'est pas simplement une solution pratique mais aussi une solution théorique, du moins tant qu'on accepte le cadre de la mécanique quantique. Le quantum qui apparaît comme la limite en deçà de laquelle toute mesure est impossible peut aussi bien être conçu d'un point de vue discontinuiste (atomiste) que d'un point de vue continuiste comme dans la mécanique ondulatoire de Louis de Broglie. Cette conception duale onde-corpuscule apparaît scandaleuse si on donne pour but à la physique d'être la science de l'être en soi. Mais si on fait de la physique une théorie physique dont l'objet est de formaliser l'expérience, le scandale disparaît. Il n'y a aucun sens à chercher à mesurer en deçà du quantum puisque ce qui détermine le sens de la mesure c'est précisément la théorie de la mécanique quantique. Il y a une version "kantienne" de cette conjoncture de la science moderne : la mécanique quantique permettrait de rendre compte du monde de l'expérience, l'être en soi restant inconnaissable et le quantum élémentaire représenterait alors, en tant que limite de la mesure la limite de notre raison mesurante, l'être en-soi étant incommensurable. Les théoriciens de l'école de Copenhague -- Heisenberg et Bohr -- acceptent la première partie de cette présentation mais rejettent la deuxième. Pour eux, il n'y a aucun sens à essayer de garder l'être en-soi, le noumène kantien ; ce n'est qu'une supposition métaphysique qui est hors de propos dans une théorie scientifique rigoureuse.
Cet optimisme épistémologique, qui nous montre la science moderne, aussi bien mathématique que physique, en voie de réduire l'incommensurable, peut-il maintenant être accepté sans autre forme de procès. Cela suppose que les mathématiques pures et la physique mathématique donnent le modèle de toute connaissance ou encore que le modèle réductionniste qui est, de fait, et non sans raisons, le modèle de la méthode scientifique depuis le début des temps modernes, est un modèle indépassable. Les objections contre ce modèle sont bien connues, de Bergson protestant contre la réduction du vivant à l'inerte à la critique des méthodes de mesure dans les sciences humaines. Oublier qu'il y a dans l'être de l'incommensurable, c'est, selon ces critiques, manquer l'être lui-même. Il y a là le plus souvent deux questions qui sont mélangées et qui pourtant devraient être distinguées soigneusement. Ainsi de la question de l'intelligence humaine : les diverses méthodes permettant de définir une mesure de l'intelligence, de la craniométrie aux tests de Binet et au QI moderne, ont été soumises à une critique acérée, notamment par Stephen Jay Gould dans son livre "La mal-mesure de l'homme" (mais au fond, Hegel avait déjà dit l'essentiel). Or le titre lui-même recèle ce mélange de questions : les tests du QI mesurent-ils mal l'intelligence humaine – et dans ce cas on devrait chercher une meilleure mesure — ou, au contraire, l'intelligence humaine est-elle en soi incommensurable ? Les critiques portent en général sur les deux aspects. D'une part, le QI suppose un acquis culturel bien déterminé et fait fi des cultures qui sont éloignées du modèle occidental ; pour pallier ces défauts, il suffirait de construire des batteries de tests plus neutres, permettant de mesurer des aptitudes plus fondamentales. D'autre part, c'est l'idée même de mesurer l'intelligence qui est récusée. Comment en effet mesurer quelque chose que nous n'appréhendons qu'à travers des manifestations concrètes si diverses et si manifestement éloignées les unes des autres ? Dans son petit livre sur "La mesure", François Dagognet réfute ces critiques en montrant qu'on atteint une couche plus profonde de l'être en réduisant les différences de qualités concrètes incommensurables à une commune mesure quantitative, et que, même si ces mesures sont conventionnelles et approchées, elles donnent plus de connaissance que le simple constat des différences de qualité.
Posée dans ces termes, la discussion est interminable, sauf à s'en tenir à un statu quo qui laisse la mesure aux sciences "dures", c'est-à-dire physiques, et l'interprétation aux "sciences morales", dans le sens de l'herméneutique de Dilthey. Les tests de Binet n'ont sans doute pas permis de mesurer l'intelligence ; par contre, ils n'étaient pas dénués d'intérêt comme une première approche pour détecter le retard scolaire. L'erreur ici n'est pas dans la mesure mais dans le caractère qu'on lui donne et le contexte dans lequel elle est effectuée. Stephen Jay Gould, dans l'ouvrage déjà cité, montre que les tests de QI ont été utilisés pour prouver l'hérédité de l'intelligence et justifier les discriminations raciales. Inversement les tests de Binet ont longtemps été utilisés par les pédagogues progressistes dans le but de mettre en œuvre de pédagogie de soutien permettant aux enfants culturellement défavorisés de surmonter leur handicap initial. L'individu reste un être absolument singulier et en tant que tel incommensurable et les tests ne nous diront rien sur son essence individuelle. Par contre, le test peut être un outil pratique — ou une arme meurtrière — dans une conjoncture sociale déterminée. Et donc le test ici mesure bien une réalité sociale qui est aussi au moins une des réalités de l'individu vivant.
Inversement, il n'est pas certain que l'incommensurable ne garde pas une place dans les sciences physiques. Contre la toute puissance de la physique mathématique et contre la domination sans partage de la mécanique quantique, qu'il qualifie de "plus grand scandale intellectuel du siècle", le mathématicien René Thom veut réhabiliter une science des formes, une science plus "qualitative". N'y aurait-il pas en effet dans l'être, même réduit à l'être physique, des connaissances qui nous échappent à partir du moment où les formes singulières sont réduites à leur mesure ? N'y aurait-il donc pas quelque chose d'essentiel résidant dans ce qui est incommensurable, dans la considération des choses indépendamment des rapports de longueur, de largeur, de hauteur, etc. ? Leibniz, avec son analysis situs, avait pensé une science plus essentielle que la géométrie, une telle science des formes. La géométrie analytique permet de définir l'équation d'une courbe ; elle permettrait même, selon Leibniz, de donner l'équation mathématique de n'importe quelle ligne tracée au hasard. Pourtant, dans un grand nombre de problèmes de physique, ce n'est pas l'équation qui compte, ce n'est pas la mesure dans un espace normé, mais c'est de savoir s'il y a un pic ou un puits. La "théorie des catastrophes" — dont la dénomination a produit de nombreux malentendus — vise précisément à expliquer des phénomènes naturels ou sociaux en ne tenant compte que des formes concrètes sous lesquelles ces phénomènes peuvent être modélisés, indépendamment de toute considération de mesure. Elle cherche à mettre en évidence des causalités que la mesure masque. Ici le renversement de perspective est radical : l'incommensurable n'est plus la limite de la connaissance mais au contraire le terrain même sur lequel elle peut se déployer. Cela ne veut pas dire que cette science des formes ne se soumette pas elle-même à un traitement mathématique. La topologie est une branche des mathématiques aussi noble que les autres. La "mathématique du chaos" — autre terme fort "médiatique" et ouvrant à des utilisations tendancieuses — cherche à modéliser ces formes particulières que les équations intégrables ne parviennent pas à cerner. Mais il ne s'agit plus de mesure au sens strict du terme. Qu'on puisse dessiner des formes montagneuses ou le découpage de la côte bretonne à l'aide des fractales ne nous dit pas que la loi de formation réelle des montagnes ou des côtes bretonnes est donnée par l'équation de la fractale. Il ne s'agit plus de mesure mais de simulation de formes, d'analogies qui cherchent justement à représenter l'incommensurable.
L'incommensurable apparaît bien en première approche comme un incommensurable transitoire, un incommensurable destiné à être mesuré à son tour. Mais si la raison semble de mieux en mieux équipée pour mesurer "le monde", si le champ de la science semble s'étendre sans cesse et si le discours scientifique prouve ses dires par un efficacité technique redoutable, l'incommensurable semble logé au cœur même de la raison. L'incommensurable apparaît comme une limite de la connaissance. Mais cette limite n'est jamais absolue, elle est repoussée pour ressurgir sous une autre forme un peu plus tard. Nous sommes comme pris dans une oscillation : d'une part, refuser qu'il y ait de l'incommensurable apparaît comme un postulat pratique utile dans la marche de la science. Mais d'un autre côté, faire de ce postulat pratique un postulat de la raison théorique, c'est outrepasser ce que nous pouvons affirmer raisonnablement. Il nous faut donc admettre l'incommensurable comme un horizon, une limite de notre connaissance actuelle, en tant qu'elle est une connaissance basée sur la mesure, mais aussi peut-être reconnaître, contre le scientisme, qu'il y a des connaissances, des savoirs vrais, qui portent sur les choses incommensurables.