Le Congrès exige une évaluation indépendante de l’efficacité opérationnelle, de l’adéquation, de la survivabilité et — le cas échéant — de la létalité des systèmes d’armes et des systèmes commerciaux du Département de la Défense (DoD). Cette évaluation passe par des tests réalisés sur des systèmes représentatifs de série, utilisés par des militaires formés à ces systèmes avant toute décision de production à grande échelle.
C’est précisément là qu’intervient le Bureau du Directeur des tests opérationnels et évaluations (DOT&E).
Créé par le Congrès en 1983, le DOT&E sert de conseiller principal auprès du secrétaire à la Défense, du sous-secrétaire à l’Acquisition et au Maintien en condition opérationnelle, du sous-secrétaire à la Recherche et à l’Ingénierie, ainsi que des secrétaires des départements militaires sur toutes les questions relatives aux tests opérationnels et d’évaluation, incluant les tests en conditions réelles de tir.
À ce jour, le DOT&E évalue de manière indépendante environ 250 systèmes au sein du DoD, le terme « système » englobant « tout, des systèmes commerciaux aux satellites spatiaux en passant par tout ce qui se situe entre les deux », selon Raymond O’Toole Jr., directeur principal adjoint des tests opérationnels et évaluations, lors d’une interview récente.
La procédure standard d’évaluation débute par la collaboration d’une équipe du DOT&E avec le bureau de programme responsable de l’acquisition du système. Cette équipe travaille également avec des membres du bureau du sous-secrétaire à la Recherche et à l’Ingénierie, chargé des tests de développement, afin d’élaborer un plan directeur de test et évaluation ou une stratégie adaptée, notamment lorsque le système suit une autre voie que celle de l’acquisition principale de capacités majeures.
Durant les tests, le DOT&E vise à fournir une évaluation crédible de la pertinence opérationnelle, de la survivabilité, de l’efficacité et, quand cela est approprié, de la létalité de chaque système, afin d’assurer la livraison et la mise en service de capacités fiables aux combattants.
Un aspect clé de la méthode du DOT&E est que les systèmes d’armes sont soumis à des tests dans des conditions de combat réalistes.
« Nous ne sommes pas limités par un document de spécifications dans notre évaluation de l’efficacité opérationnelle et de l’adéquation d’un système », explique Garry Bishop, directeur adjoint des tests opérationnels pour la guerre terrestre et expéditionnaire.
« Nous considérons le système dans un environnement de combat réaliste. Un système peut ne pas être requis d’avoir certaines capacités contre certaines menaces, mais nous l’évaluons dans ce contexte opérationnel. »
Par exemple, pour illustrer cette approche, O’Toole évoque le véhicule de combat Bradley de l’Armée américaine.
« Le Bradley n’opère jamais seul », précise-t-il. « Ainsi, bien que nous évaluions la survivabilité de chaque véhicule face aux menaces en condition de tir réel, lors des tests opérationnels, nous analysons aussi son emploi en unité, en tant que groupe de véhicules de combat, et pas seulement un véhicule isolé. »
Outre ses évaluations indépendantes, le DOT&E publie chaque année un rapport annuel destiné au Congrès et au secrétaire à la Défense.
« Nous ne couvrons pas tous les 250 programmes mais rapportons sur ceux ayant fait l’objet de tests opérationnels et de tirs réels significatifs durant l’année fiscale », détaille O’Toole, titulaire d’un doctorat en ingénierie. Par ailleurs, la loi sur l’autorisation de défense nationale oblige les secrétaires militaires à documenter leurs positions vis-à-vis du rapport du DOT&E.
Outre la réalisation de tests en conditions proches du réel, une autre caractéristique qui distingue le DOT&E au sein des organismes gouvernementaux est son indépendance.
« Selon le Titre 10 du Code des États-Unis, nous devons au Congrès une évaluation indépendante, non filtrée par le secrétaire à la Défense ni par les services, mais bien notre propre appréciation. L’évaluation du directeur est fondée sur les données et les tests opérationnels et de tirs réels réalisés », précise Bishop.
« Ainsi, le DOT&E fournit une évaluation impartiale et non filtrée. »
Bien que le Congrès et le secrétaire à la Défense soient les destinataires principaux, O’Toole considère que l’organisation sert avant tout les militaires en première ligne.
« Je crois fermement que notre client principal est le combattant, car nous lui livrons la vérité sur ce qu’il reçoit sur le terrain », affirme-t-il.
Pour cela, le DOT&E travaille depuis plusieurs années à accélérer le traitement des données collectées dans d’autres domaines, avec l’espoir d’utiliser ces informations pour satisfaire certains critères du plan directeur de test et évaluation d’un système et ainsi potentiellement en accélérer la mise en service.
« Nous cherchons constamment à augmenter la rapidité de nos évaluations pour mieux répondre aux besoins des combattants », insiste O’Toole.
Une des initiatives du DOT&E consiste à s’éloigner du modèle linéaire de test — où un système doit d’abord passer par des tests réalisés par le fabricant puis les tests de développement avant d’accéder aux tests opérationnels — pour évoluer vers un modèle plus intégré.
« Nous tentons d’obtenir plus tôt dans la phase de développement des retours opérationnels qui permettent d’ajuster le design si nécessaire et de mieux définir l’ampleur des tests opérationnels au fil du cycle de vie du programme », explique Bishop.
Un exemple concret est le test récemment achevé du système de couche terrestre de l’Armée, destiné à fournir aux soldats sur le champ de bataille des capacités intégrées de guerre électronique et cybernétique.
Bishop souligne que le DOT&E a été impliqué dès les premières étapes du développement, ce qui a permis d’orienter le développeur sur les attentes relatives aux tests opérationnels. Le développeur a pu ainsi adapter certains mécanismes de test pour mieux refléter l’utilisation réelle du système par les soldats sur le terrain.
« Les tests ne provoquent pas de retards ; ce sont les résultats des tests qui génèrent des retards si des défauts sont découverts et que le développeur choisit de les corriger. Le rôle des testeurs, qu’ils soient en phase de développement ou opérationnelle, est d’informer le développeur. Plus tôt les défauts et vulnérabilités sont détectés, plus tôt ils peuvent être corrigés, garantissant ainsi que quand le système est livré aux combattants, il est fiable. »
Outre les tests internes au Département de la Défense, le DOT&E supervise également le Programme international de tests et d’évaluations (ITEP), qui permet d’établir des accords bilatéraux et multilatéraux entre les États-Unis et leurs partenaires internationaux.
« Nous sommes uniques », déclare O’Toole. « Il n’existe aucune autre organisation comme le DOT&E dans le monde, qui réalise des évaluations indépendantes. »
Cette responsabilité internationale offre parfois l’opportunité à la direction du DOT&E de collaborer avec des représentants de diverses communautés de défense à l’international. Par exemple, O’Toole a récemment présenté un exposé lors de la Conférence internationale des véhicules blindés à Londres en janvier.
« Lors de cette présentation, l’attention était palpable, non pas parce que j’étais l’orateur, mais en raison du message délivré », relate O’Toole. « Ce message est que nous fournissons une évaluation crédible, nous n’hésitons pas à indiquer les points faibles, suggérer des corrections, puis re-tester. Nous soulignons également ce qui fonctionne correctement. »
À l’avenir, le DOT&E prévoit de concentrer ses efforts non seulement sur l’évaluation de systèmes individuels, mais aussi sur les familles de systèmes interconnectés.
« Et nous examinons cela non seulement sous l’angle des tests, mais aussi de la formation », ajoute O’Toole.
À titre d’exemple, il mentionne l’Environnement de Simulation Conjointe (Joint Simulation Environment – JSE), utilisé pour former les pilotes de F-35 Lightning II, l’avion multirôle phare du DoD.
« On me dit souvent qu’ils ont tiré plus d’enseignements en étant assis dans le cockpit du JSE que lors des exercices en extérieur. Ceci est dû aux menaces et aux capacités qu’ils peuvent exploiter virtuellement, alors que les contraintes de sécurité et environnementales limitent parfois les tests et exercices réels », explique-t-il.
O’Toole précise aussi que le DOT&E est de plus en plus impliqué dans le domaine de l’intelligence artificielle.
« Nous collaborons étroitement avec l’industrie et les spécialistes les plus brillants sur la manière d’intégrer et de tester l’intelligence artificielle », affirme-t-il, ajoutant que le bureau travaille en étroite coordination avec le Bureau principal des technologies numériques et de l’IA du DoD.
« Nous anticipons l’avenir, c’est la voie que nous suivons, et celle que nous devons absolument emprunter pour préparer l’avenir. »