Une capture d’écran analysée, un clic exécuté. Depuis le 24 juin 2026, Gemini 3.5 Flash ne se limite plus au texte ou au code : il regarde l’écran et agit directement sur l’interface, sans passer par une API intermédiaire. Google a réuni vision, raisonnement et action dans un seul modèle.
À retenir
- Computer use est désormais un outil intégré nativement dans Gemini 3.5 Flash, remplaçant l’ancien modèle dédié Gemini 2.5.
- Le modèle navigue dans les systèmes d’exploitation réels avec un score de 78,4 % sur le benchmark OSWorld-Verified.
- Une amélioration de 68 % de l’efficacité des tokens réduit significativement les coûts d’exploitation pour les déploiements en entreprise.
- Des politiques de sécurité configurables et une détection des injections de prompts par analyse d’écran encadrent cette autonomie logicielle.
L’annonce du 24 juin change la façon de concevoir les agents autonomes. Là où les architectures précédentes demandaient d’assembler plusieurs modèles pour percevoir puis agir, Google DeepMind propose une seule boucle entre vision et exécution de commandes. Cette refonte simplifie le travail des développeurs et répond à une attente très concrète des entreprises : des collaborateurs numériques capables de manipuler les logiciels du quotidien, sans intégration lourde.
Une fusion native et performante
Jusqu’à présent, automatiser une interface graphique avec l’IA restait une affaire de spécialistes. Il fallait passer par Gemini 2.5 Computer Use, un modèle distinct du modèle principal. Avec Gemini 3.5 Flash, cette fonctionnalité est directement intégrée au pipeline d’inférence.
Nous avons unifié les flux de travail en un seul modèle.
Mateo Quiros, chef de produit chez Google DeepMind
La boucle capture-action au cœur du système
Le mécanisme repose sur une logique simple et robuste. Le modèle reçoit une capture d’écran, analyse le contexte visuel et génère des commandes structurées : déplacer la souris, cliquer, taper au clavier ou faire défiler une page. Une nouvelle capture est alors prise, et le cycle recommence. Cette approche multimodale s’applique aux navigateurs web, aux applications mobiles comme aux logiciels de bureau. L’agent n’a besoin d’aucune connexion API spécifique. Il agit comme le ferait un utilisateur humain face à son poste de travail.
Des chiffres qui redessinent le paysage concurrentiel
Sur le plan technique, les résultats parlent d’eux-mêmes. Sur le benchmark OSWorld-Verified, qui évalue la capacité à réaliser des tâches dans un environnement informatique réel, Gemini 3.5 Flash atteint 78,4 %. Sa fenêtre de contexte d’un million de tokens lui laisse assez de mémoire pour suivre des processus métiers qui durent plusieurs dizaines de minutes, parfois plusieurs heures.
Google annonce aussi 68 % d’amélioration de l’efficacité des tokens par rapport aux versions antérieures. Les tarifs sont fixés à 1,28 euro par million de tokens en entrée et 7,65 euros par million de tokens en sortie. De quoi garder des déploiements massifs sous contrôle côté facture.
Un outil professionnel encadré et déjà adopté
Pour Google, l’enjeu n’est pas seulement la performance. Il faut aussi montrer que l’outil tient la route dans des logiciels réels, et des éditeurs majeurs ont déjà commencé à l’intégrer.
Salesforce, Xero et l’automatisation des tâches complexes
Salesforce utilise Gemini 3.5 Flash au sein de sa plateforme Agentforce pour orchestrer des agents capables de naviguer dans ses interfaces client sans intervention humaine. De son côté, l’éditeur de logiciels comptables Xero automatise l’identification de fournisseurs et le traitement des formulaires fiscaux. Autant d’applications où l’IA ne se contente pas de comprendre une facture, elle interagit avec les différents champs d’un écran pour la saisir, la vérifier et la classer.
Sécurité : un déploiement sous contrôle strict
Confier le contrôle d’un ordinateur à une IA soulève des questions de sécurité évidentes. Google répond avec plusieurs couches de protection, déployées via la plateforme dédiée Gemini Enterprise Agent.
Détection des manipulations et politiques granulaires
Une technique d’entraînement contradictoire a été utilisée pour apprendre au modèle à résister aux tentatives de détournement. Concrètement, le système analyse le contenu des captures d’écran pour y détecter d’éventuelles injections de prompts, ces instructions malveillantes dissimulées dans des éléments visuels. Les entreprises peuvent aussi paramétrer des règles très fines : exiger une validation humaine pour toute action sensible, bloquer l’accès à certaines catégories de sites web ou de logiciels, ou encore interdire les actions irréversibles sans confirmation explicite.
Environnements de test isolés
Pour permettre aux développeurs d’expérimenter sans risque, Google met à disposition un environnement de démonstration hébergé par Browserbase. Cette « sandbox » permet de tester le comportement de l’agent sur des infrastructures isolées avant tout déploiement en production.
En intégrant la fonction « computer use » à son modèle phare, Google ne gagne pas seulement en vitesse. L’entreprise pousse surtout l’idée d’une informatique où l’IA prend la main sur les logiciels du quotidien, avec des humains qui gardent le contrôle.
Laisser un commentaire
Vous devez vous connecter pour publier un commentaire.