Cet article a pour objectif de proposer des réflexions critiques, fondées sur les ouvres et le cours « Technologie de surveillance et société » (https://www.youtube.com/playlist?list=PLGA5ByQlQm0BpnPkTdjv0sp6A957L9mF-), dispensé par le professeur David Lyon en février 2024 à l'USP de Ribeirão Preto, au CEADIN (Centre d'Études Avancées en Droit et Innovation de la Faculté de Droit de l'Université de São Paulo, campus de Ribeirão Preto), coordonné par moi-même, en collaboration avec le professeur Nuno Coelho. David Lyon est le principal chercheur du projet sur la surveillance dans le Big Data, professeur émérite de sociologie et de droit à la Queen's University, ancien directeur du Centre d'études sur la surveillance, et l'un des spécialistes majeurs de ce sujet. L'objectif est de présenter des réflexions sur certaines de ses ouvres principales, en dialogue avec d'autres auteurs étudiant la question, en abordant les étapes précédant l'avènement de la société de surveillance numérique, notamment à travers la pensée de Foucault sur la société de normalisation, de discipline et de régulation, et son évolution dans les ouvres de Deleuze et de Byung-Chul Han, selon une perspective de la société de contrôle et du panoptique numérique, en analysant des cas paradigmes concrets pour articuler l'analyse théorique avec la pratique, dans le sens de la phronesis, c'est-à-dire la connaissance pratique selon les Grecs.

La surveillance est une dimension clé du monde moderne et est aujourd'hui étroitement liée au Big Data¹, à l'instar des applications d'IA, telles que la reconnaissance faciale et la police prédictive, dans un cadre de surveillance désormais caractérisé comme massive, sous le slogan « collecter tout », par l'analyse et l'accès à un volume important de données personnelles. Outre une vulnérabilité générale résultant de l'ubiquité informationnelle et de l'asymétrie de cette relation, on observe également un usage croissant d'applications d'IA permettant la prévision en temps réel, l'automatisation des résultats et la modulation des comportements, des intentions et des émotions humaines (neuromarketing, captologie, courtiers en données, informatique affective), apportant de nouvelles vulnérabilités spécifiques, soulevant des enjeux allant bien au-delà de la protection des droits fondamentaux individuels, tels que la vie privée et la protection des données. Ces enjeux touchent aux principes démocratiques modernes et aux limites d'une telle surveillance dans un État de droit démocratique, puisque le manque de transparence rend pratiquement impossible tout contrôle, toute responsabilisation et toute reddition de comptes en cas d'abus ou d'erreurs. Ces thématiques doivent être abordées de manière critique à la lumière des nouveaux colonialismes (des données, du carbone, biocolonialisme), car les pays ayant un passé de discrimination envers certaines parties de leur population sont plus vulnérables, comme le démontre une étude récente du Réseau des Observatoires de la Sécurité².

La caractéristique principale du renseignement sécuritaire actuel est la large collaboration avec les entreprises technologiques, qui stockent, traitent et utilisent nos empreintes numériques, en s'appuyant sur le Big Data, élargissant ainsi l'ancien partenariat avec les entreprises de télécommunications, telles qu'AT&T, qui a collaboré avec les États-Unis, objet d'une action en justice intentée par l'Electronic Frontier Foundation (EFF). Cette action a cependant été classée à la suite de l'approbation par le Congrès de la controversée loi FISA (Foreign Intelligence Surveillance Act) de 1978, qui a accordé une immunité rétroactive à AT&T et a permis au procureur général de demander l'archivage de l'affaire à partir de 2008, si le gouvernement certifiait secrètement au tribunal que la surveillance n'avait pas eu lieu, était légale ou avait été autorisée par le président, qu'elle soit légale ou non. Cette immunité rétroactive, en couvrant des cas potentiellement passibles de sanctions pénales, a annulé la possibilité de poursuites fondées sur l'interdiction des écoutes sans mandat, cette interdiction étant alors remplacée par des ordres présidentiels, légaux ou non, sapant les fondements de la séparation des pouvoirs et de l'État de droit.

Cette immunité tend à devenir la norme, utilisée de plus en plus fréquemment par les gouvernements pour légaliser leurs pratiques de surveillance de masse. L'immunité rétroactive révèle l'origine illégale de cette surveillance, qui opère dans une zone anti-juridique, brouillant les frontières entre la légalité et l'illégalité, car ces pratiques existent dans une sorte de « zone grise ». Un exemple de l'expansion des technologies de surveillance et de l'hégémonie de ce modèle économique fondé sur le Big Data est l'offre croissante de services informationnels et de logiciels aux institutions publiques d'enseignement, « gratuitement », par les plus grandes entreprises de la tech - connues sous l'acronyme GAFAM (Google, Apple, Facebook, Amazon, Microsoft) - en échange d'un accès intégral aux données personnelles de milliers d'utilisateurs, ce qui remet en question la souveraineté étatique, puisque ces entreprises sont majoritairement basées aux États-Unis ou, de plus en plus, en Chine, dans une relation opaque, sans accès aux données nécessaires pour en vérifier les détails, aucune divulgation officielle n'étant faite par les entreprises ou les institutions.

Il existe une asymétrie de pouvoir et de connaissance, liée à la disparité entre ce que ces entreprises, opérant dans le cadre du capitalisme de surveillance, savent sur nous, et ce que nous savons sur ce qu'elles font de nos données. Cela creuse encore les asymétries Nord-Sud. Comme le montrent les recherches, les inégalités et les violations potentielles des droits humains et fondamentaux dans le domaine de l'IA sont plus problématiques dans les pays du Sud global, ayant un impact accru là où les droits des communautés historiquement opprimées sont systématiquement niés³. Les accords entre entreprises et universités brésiliennes, notamment en ce qui concerne Google Suite for Education et Microsoft Office 365 for Schools & Students, illustrent à quel point ces relations sont opaques, de véritables boîtes noires, qui ne répondent pas aux critères fondamentaux d'une IA de confiance, notamment la transparence, surtout pour les personnes dont les données sont utilisées, comme le souligne un rapport de l'Electronic Frontier Foundation⁴.

Dans ce contexte, David Lyon, lors du cours organisé par le CEADIN - Centre d'Études Avancées en Droit et Innovation de la Faculté de Droit de l'USP, campus de Ribeirão Preto, rappelle qu'à l'origine, dans les années 1990, la surveillance était définie comme une attention systématique et routinière aux détails personnels dans le but d'influencer, de gérer, de protéger ou de diriger des individus. Elle impliquait une observation ciblée et constante à diverses fins, y compris pour influencer les réseaux sociaux, les relations professionnelles et les comportements organisationnels. Bien qu'elle soit généralement associée à des entités comme la police, les agences de sécurité ou les douanes, la surveillance peut également affecter les choix de vie, les décisions d'achat ou de carrière. Son concept a ensuite été élargi pour inclure à la fois l'opération et l'expérience de la surveillance, impliquant la collecte, l'analyse et l'usage de données personnelles pour orienter les choix ou gérer des groupes et des populations. À l'ère postmoderne, la surveillance du XXI? siècle se distingue par sa nature omniprésente, impliquant une « culture de la surveillance », une nouvelle dimension fondée sur notre participation volontaire, les données personnelles en constituant l'ingrédient principal. Les smartphones, par exemple, sont devenus les principaux dispositifs de surveillance en raison de leur large adoption, leur capacité d'analyse étant exploitée par de grandes entreprises, des entités publiques et privées, ainsi que par des agences gouvernementales pour surveiller les individus, souvent sans qu'ils soient suspects.

Parmi les diverses ouvres de David Lyon, on peut citer Liquid Surveillance, coécrite avec Zygmunt Bauman, fruit de multiples échanges, dialogues et activités conjointes, notamment leur participation à la conférence biennale de 2008 du Surveillance Studies Network. Les auteurs mettent en évidence une nouvelle phase de la surveillance : liquide, mobile et flexible, s'infiltrant dans tous les aspects de nos vies, assumant des formes en constante évolution, distinctes du panoptisme étudié par Foucault et Deleuze.

Selon Foucault, en étudiant les sociétés disciplinaires, régulatrices et de normalisation, le panoptique est l'un des principaux instruments du pouvoir disciplinaire, un mécanisme de surveillance permettant de voir sans être vu, produisant l'effet d'un état permanent de visibilité. L'architecture panoptique est conçue pour que la lumière traverse tout : tout doit être éclairé, tout doit être visible. Dans la société de la transparence, rien ne doit être dissimulé.

Pour Deleuze, dans sa « Postface sur les sociétés de contrôle », ces dernières se caractérisent par l'informatique et les ordinateurs, représentant une mutation du capitalisme. Dans ces sociétés, l'essentiel n'est plus la signature ou le numéro, mais le code : le code est un mot de passe. Les individus deviennent des « dividus », divisibles, et les masses se transforment en échantillons, en données, en marchés ou en « banques ».

La caractéristique du panoptique numérique, selon Byung-Chul Han dans sa réflexion sur la « société de la transparence », est de permettre l'expansion mondiale des flux numériques, transformant le monde en un panoptique total : « il n'existe pas d'extérieur au panoptique ; il devient total, sans mur séparant l'intérieur de l'extérieur ». Les géants du numérique comme Google et Facebook se présentent comme des espaces de liberté, mais peuvent aussi fonctionner comme des instruments d'un panoptisme technologique, comme le démontrent les révélations d'Edward Snowden en 2013 sur le programme PRISM, qui permettait à la NSA d'accéder à pratiquement tout ce qu'elle désirait auprès des grandes entreprises de l'internet. Une caractéristique fondamentale du panoptique numérique est la protocolisation totale de la vie, qui remplace la confiance par le contrôle, suivant une logique d'efficacité. Ainsi, la confiance est entièrement supplantée par le contrôle. À la place du Big Brother, c'est le big data. Nous vivons l'illusion de la liberté, fondée sur l'auto-exposition et l'auto-exploitation. Dans ce système, chacun observe et surveille les autres.

Le marché de la surveillance dans l'État démocratique présente une proximité dangereuse avec celui de l'État numérique de surveillance. Ce n'est plus le biopouvoir, mais le psychopouvoir, qui intervient dans les processus psychologiques. Il est plus efficace que le biopouvoir car il surveille, contrôle et influence l'individu de l'intérieur plutôt que de l'extérieur. C'est l'ère de la psychopolitique numérique. Les grands volumes de données deviennent un facteur décisif de transformation. Du code-barres omniprésent, qui permettait d'identifier les produits par type ou par usine, nous sommes passés aux puces d'identification par radiofréquence (RFID), intégrant des identifiants individuels pour chaque produit, puis aux codes QR (Quick Response Code), ensembles de symboles placés sur les produits et scannés par des smartphones pour accéder à des sites spécifiques. Ces technologies révèlent diverses applications de surveillance, censées offrir de la commodité au consommateur, par exemple, en réduisant les files d'attente dans les supermarchés.

Ainsi, le Big Data peut être défini comme des données issues de leur omniprésence. Leur volume et leur vitesse sont des caractéristiques clés, mais ce qui compte le plus, ce sont les nouvelles applications qu'elles rendent possibles, telles que la surveillance prédictive et le neuromarketing. Comme l'indique le projet de surveillance dans le Big Data, David Lyon souligne que les résultats produits par les données sont principalement déterminés par la combinaison de bases provenant de diverses sources, souvent fusionnées en une seule. Le Big Data est donc à la fois complexe et compliqué, caractérisé par l'immensité des données, capturant les détails de nos vies en des volumes presque incalculables.

Ces outils d'intelligence artificielle, utilisés dans la surveillance fondée sur le Big Data, peuvent générer des biais - au sens d'un cycle de rétroaction de préjugés et de données biaisées - englobant des contenus façonnés par des discriminations structurelles et reproduits par des algorithmes. La technologie de reconnaissance faciale, en particulier, risque ainsi de reproduire ou d'amplifier le racisme institutionnel et structurel existant dans la société, entraînant une inégalité codifiée, favorisant des infrastructures injustes et perpétuant des injustices ainsi que d'autres formes de discrimination à travers différentes instances de biais, qui ne sont pas systématiquement traitées par un cadre de gouvernance algorithmique adéquat. Par exemple, des études menées par l'organisation Big Brother Watch montrent que 98 % des correspondances obtenues par les caméras ayant alerté la police au Royaume-Uni ont abouti à des identifications erronées de personnes innocentes.

D'autres enjeux concernent l'absence de mécanismes assurant aux citoyens la responsabilité quant à leurs droits, ainsi que le manque de mesures préventives et d'atténuation des dommages et des risques pour la sécurité de l'information. En outre, on constate un déficit d'évaluations quant à la proportionnalité entre les effets négatifs et les externalités positives, généralement associées à une efficacité supposée - bien que cette efficacité soit discutable, comme l'indique un rapport de la LAPIN de 2021. Ce rapport souligne le manque de transparence dû à l'absence de données statistiques systématisées, consolidées ou publiées sur le traitement des données par les technologies de reconnaissance faciale utilisées par l'administration publique. Il n'existe ainsi aucune preuve concrète d'une efficacité accrue dans les activités du secteur public ; autrement dit, selon les données disponibles, « le récit de l'efficacité technologique ne semble pas confirmé statistiquement ».

Étant donné qu'il existerait d'autres moyens d'atteindre les objectifs visés, et que l'on peut douter de l'efficacité de la technologie au vu des erreurs et autres problèmes soulevés, il paraît légitime de remettre en question la proportionnalité de ces mesures, au regard des atteintes potentielles aux droits fondamentaux de millions de personnes qui, sans être suspectes, sont soumises à une surveillance de masse de la part de l'État, et voient leurs données personnelles collectées, comme le montre l'exemple paradigmatique du carnaval de Salvador en 2020, où 80 caméras à reconnaissance faciale ont été utilisées, entraînant l'arrestation de 42 fugitifs, mais la collecte de données biométriques sur 11,7 millions de personnes, y compris des adultes et des enfants.

Afin de déconstruire le mythe de la neutralité et de l'objectivité des algorithmes et de leurs prévisions, il est important de rappeler que les données ne sont que des échantillons et ne parlent jamais d'elles-mêmes. Les corrélations peuvent être aléatoires et générer des informations erronées, en raison d'un manque de compréhension contextuelle et de connaissance spécifique du domaine. C'est pourquoi il est essentiel que les équipes techniques, généralement issues des sciences exactes, soient élargies à des professionnels qualifiés en droit, en philosophie (éthique) et en sociologie, afin de permettre une analyse interdisciplinaire et holistique.

L'usage de ces technologies, compte tenu de leur potentiel d'erreurs et de violations des droits fondamentaux, et étant classées à haut risque par divers documents internationaux, doit être précédé d'une évaluation d'impact algorithmique. Cette évaluation vise à garantir la mise en place de mesures atténuant les effets négatifs, favorisant un meilleur équilibre entre les bénéfices attendus et les atteintes aux droits fondamentaux. Enfin, il est impératif que ce document soit élaboré de manière indépendante, par une équipe multidisciplinaire, afin d'assurer la légitimité et l'impartialité du rapport.

___________

1 Big Data Surveillance Project, Surveillance Studies Centre, Canada - Disponível aqui.

2 Disponível aqui.

3 NOBLE, Safiya Umoja, 2018

4 Spying on Students: School-Issued Devices and Student Privacy. Disponível aqui. 

5 LYON, BAUMAN, 2014

6 LYON, David, BENNETT, Colin J. 2008

7 LYON, David, 2005

8 MOROZOV, Evgeny, 2018, p. 33 et seq.

9 LEE, Kai-Fu, 2022

10 LYON, David, MURUKAMI, D. 2020

11 LYON, David, MURUKAMI, D. 2020

12 Bill C-46, "Investigative Powers for the 21st Century Act" and Bill C-47, "Technical Assistance for Law Enforcement in the 21st Century Act"

13 R v Oakes, [1986] 1 SCR 103. Disponível aqui. 

14 Disponível aqui.

15 'Report on the use of facial recognition technologies and surveillance cameras by Public Administration in Brazil' - Disponível aqui.