Gemini Embedding 2 arrive et unifie texte, image, audio, vidéo et PDF

Google DeepMind a franchi une nouvelle étape dans l’intelligence artificielle multimodale en lançant Gemini Embedding 2 le 10 mars 2026. Ce modèle, premier du genre à traiter simultanément texte, images, vidéos, audio et documents dans un seul espace vectoriel unifié, redéfinit les limites de la recherche sémantique. Avec des performances inégalées sur les benchmarks MTEB et une architecture pensée pour l’industrie, il s’impose comme un outil clé pour les entreprises cherchant à automatiser l’analyse de données complexes. Pourtant, derrière cette avancée se cachent des défis techniques et économiques qui pourraient en freiner l’adoption à grande échelle.

À retenir

• Gemini Embedding 2 est le premier modèle nativement multimodal de Google, capable de traiter 5 types de médias (texte, image, vidéo, audio, PDF) dans un espace vectoriel unique de 3072 dimensions.
• Il surpasse les modèles existants sur le benchmark MTEB, avec des performances optimisées pour le texte (8 192 jetons), les images (6 par requête), les vidéos (120 secondes) et l’audio (80 secondes sans transcription).
• La technologie Matryoshka Representation Learning (MRL) permet de réduire la taille des vecteurs jusqu’à 768 dimensions avec une perte de précision limitée (0,18 point sur le score MTEB).
• Disponible en Public Preview via l’API Gemini et Vertex AI, le modèle est déjà utilisé par des acteurs comme Everlaw (juridique) et Mindlid (biométrie), avec des réductions de latence de 70 % rapportées.
• Les tarifs sur Vertex AI varient de 0,20 $ par million de tokens (texte) à 0,00016 $ par seconde (audio), avec des remises de 50 % pour les requêtes par lots.
• Le modèle simplifie les pipelines RAG multimodal en évitant de traduire chaque média en texte, et ouvre la voie à des systèmes de recherche vraiment transversaux.

Gemini Embedding 2 marque une étape importante dans l’IA générative en unifiant cinq modalités dans un seul modèle, là où ses prédécesseurs imposaient des solutions fragmentées. Cette approche native supprime les étapes de conversion coûteuses (comme la transcription audio-texte ou l’OCR séparé), ce qui réduit à la fois la complexité technique et les coûts opérationnels. Pour les entreprises, cela se traduit par un gain de temps et d’efficacité inédit, surtout dans des domaines comme le juridique, la santé ou la finance, où l’analyse croisée de données hétérogènes est déterminante. Mais au-delà des performances, la question de la souveraineté sur les données devient centrale : en traitant directement les médias bruts, les organisations limitent leur dépendance à des chaînes de conversion externes, parfois opaques ou peu sécurisées.

Un modèle qui repousse les limites de l’analyse multimodale

Cette nouvelle génération d’embeddings multimodaux veut rendre cohérente, dans un même cadre technique, l’analyse de contenus jusqu’ici cloisonnés. L’objectif est de rapprocher le fonctionnement des systèmes d’IA de la façon dont les humains combinent textes, sons et images.

Un espace vectoriel pour tout comprendre, enfin

Jusqu’à présent, les modèles d’embedding comme BERT ou CLIP traitaient chaque type de média séparément, ce qui obligeait à bâtir des pipelines complexes pour les faire « dialoguer ». Gemini Embedding 2 change cette approche en cartographiant texte, images, vidéos, audio et PDF dans un seul espace vectoriel de 3072 dimensions. Concrètement, une requête textuelle peut désormais interroger directement une vidéo, et un document PDF peut être analysé à la fois pour son contenu textuel et pour ses éléments visuels (graphiques, tableaux) dans une seule opération.

Prenons l’exemple d’une recherche juridique complexe : auparavant, un avocat devait extraire manuellement les transcriptions audio d’un procès, les métadonnées des images de preuves et les textes des documents. Avec Gemini Embedding 2, une seule requête suffit pour croiser ces données et faire ressortir des motifs qui échappaient aux outils classiques. Everlaw, plateforme de legal tech, fait état d’une amélioration de 40 % de la précision des recherches grâce à cette approche, selon un porte-parole.

L’innovation va plus loin avec le concept d’entrée entrelacée (interleaved input). Il devient possible de soumettre une image associée à une question textuelle dans une seule requête. Par exemple, demander « Quels sont les éléments clés de cette radiographie, en lien avec les symptômes décrits dans ce rapport médical ? » ne nécessite plus d’étape intermédiaire. Cette capacité ouvre la voie à des systèmes d’analyse médicale ou technique plus robustes, où contexte visuel et texte sont traités ensemble.

Des performances techniques sans équivalent

Les benchmarks MTEB (Massive Text Embedding Benchmark) confirment ce que laissaient entrevoir les premiers tests : Gemini Embedding 2 dépasse ses concurrents sur les tâches multimodales. Pour le texte, il atteint un score de 68,17, contre 65,3 pour le précédent modèle de Google. Sur les données visuelles et audiovisuelles, l’écart se creuse : le modèle affiche une précision de 52,4 sur les images (contre 48,7 pour le meilleur concurrent) et 47,8 sur les vidéos, un niveau inédit pour ce type d’outil.

Ces performances reposent sur plusieurs avancées techniques :

• Traitement du texte : jusqu’à 8 192 jetons (contre 2 048 pour la plupart des modèles), couvrant plus de 100 langues. Cela permet d’analyser des documents longs, comme des contrats ou rapports, sans les tronquer.
• Analyse visuelle : prise en charge de 6 images par requête (PNG/JPEG) et de vidéos jusqu’à 120 secondes (ou 80 secondes avec audio). Le modèle extrait automatiquement la piste audio des vidéos et la synchronise avec les images pour une analyse cohérente.
• Audio natif : ingestion directe de fichiers MP3 ou WAV jusqu’à 80 secondes, sans transcription intermédiaire. Cette fonctionnalité marque une nette rupture pour des cas d’usage comme l’analyse d’appels clients ou d’enregistrements médicaux, où le ton et les silences comptent autant que les mots.
• Documents PDF : support natif des fichiers jusqu’à 6 pages, avec OCR intégré pour extraire texte et éléments visuels (tableaux, graphiques). Plus besoin d’outils séparés comme Tesseract ou Adobe Acrobat.

Ces capacités reposent sur une architecture véritablement unifiée, où tous les types de données sont traités par le même réseau neuronal, à l’inverse des solutions hybrides qui assemblent plusieurs modèles spécialisés.

Coûts, latence et adoption : les défis derrière l’innovation

La technologie Matryoshka : réduire la taille sans sacrifier la précision

Un des principaux freins à l’adoption des modèles d’embedding avancés reste leur coût de stockage et de calcul. Un vecteur de 3 072 dimensions, même compressé, pèse lourd sur les infrastructures. Gemini Embedding 2 répond à ce problème avec la technologie Matryoshka Representation Learning (MRL), une méthode de réduction dimensionnelle ciblée.

Le principe est le suivant : le modèle génère d’abord des vecteurs complets (3 072 dimensions), puis les compresse jusqu’à 768 dimensions en ne conservant que les informations jugées les plus pertinentes. Résultat, une réduction de 75 % de la taille des données avec une perte de précision inférieure à 0,2 point sur le score MTEB (de 68,17 à 67,99). Pour les entreprises, cela se traduit par des économies sensibles : Sparkonomy, spécialiste de l’optimisation des coûts cloud, estime que cette compression permet de diviser par 4 les coûts de stockage sur une année.

Au-delà du stockage, la MRL réduit aussi la latence des requêtes. En évitant de calculer systématiquement des vecteurs complets pour des tâches simples (comme le clustering ou la recherche par similarité), le modèle accélère les traitements de jusqu’à 70 %, selon les tests internes de Google. Un atout pour les applications temps réel, comme les systèmes de recommandation ou les outils de modération de contenu.

Une structure tarifaire adaptée aux entreprises

Pour élargir l’accès au modèle, Google a mis en place une grille tarifaire différenciée sur sa plateforme Vertex AI, avec des prix variables selon le type de média :

• Texte : 0,20 $ par million de tokens (soit environ 0,17 € pour 1 million de jetons).
• Images : 0,00012 $ par image (0,0001 €), soit près de 100 € pour 1 million d’images.
• Vidéos : 0,00079 $ par frame (0,00067 €). Une vidéo de 1 minute (1 800 frames) coûterait ainsi autour de 1,2 €.
• Audio : 0,00016 $ par seconde (0,00013 €). Une heure d’audio revient à environ 4,7 €.

Ces tarifs apparaissent compétitifs lorsqu’on les compare aux solutions qui enchaînent plusieurs modèles, et donc plusieurs facturations. Par exemple, traiter une vidéo avec un modèle de transcription comme Whisper, un modèle d’embedding textuel comme BERT et un modèle d’embedding visuel comme CLIP coûterait 3 à 5 fois plus cher que Gemini Embedding 2, pour un résultat qui reste souvent moins cohérent.

Google propose en outre des remises de 50 % pour les requêtes par lots (Batch API), une fonctionnalité clé pour les entreprises qui traitent des volumes massifs de données, comme les médias ou les banques. Indexer 1 million de documents PDF reviendrait ainsi à environ 1 200 € avec cette remise, contre près de 2 400 € au tarif standard.

Un écosystème déjà en mouvement

Depuis son lancement en Public Preview le 10 mars, Gemini Embedding 2 a été intégré à plusieurs outils populaires, ce qui en facilite l’adoption par les développeurs. Le modèle est désormais compatible avec :

• LangChain et LlamaIndex : frameworks pour construire des applications de Retrieval-Augmented Generation.
• Pinecone, Weaviate et Qdrant : bases de données vectorielles pour le stockage et la recherche sémantique.
• Haystack : framework open source pour le traitement automatique du langage.

Cette compatibilité est un argument décisif, car elle permet aux équipes techniques de réutiliser leurs pipelines existants sans les reconstruire. Une entreprise qui utilise déjà LangChain pour un projet de RAG textuel peut, par exemple, étendre son système aux images et vidéos en quelques lignes de code, en remplaçant simplement le modèle d’embedding.

Les premiers retours des early adopters sont plutôt positifs. Mindlid, une startup spécialisée dans les systèmes de bien-être biométrique, s’appuie sur Gemini Embedding 2 pour corréler des enregistrements audio de conversations avec des données biométriques (rythme cardiaque, niveau de stress). La société évoque une amélioration de 25 % de la détection des moments de détresse, grâce à la prise en compte de signaux multimodaux (ton de voix, expressions faciales, contexte textuel) ignorés par les solutions précédentes.

Dans le secteur juridique, Everlaw a déployé le modèle pour indexer automatiquement les preuves visuelles dans les litiges. Jusqu’ici, les avocats devaient étiqueter manuellement vidéos et images, un processus long et source d’erreurs. Avec Gemini Embedding 2, le système classe automatiquement les preuves par similarité sémantique, ce qui réduit le temps de préparation des dossiers de près de 30 %, selon un porte-parole.

Et demain ? Les limites et les opportunités d’un modèle « tout-en-un »

En réunissant cinq modalités dans un cadre unique, le modèle ouvre de nouvelles perspectives mais met aussi en avant des angles morts techniques et réglementaires. Les prochaines années devraient se jouer autant sur ces questions que sur la performance brute.

Les défis éthiques et de biais

Malgré ses avancées, Gemini Embedding 2 présente des limites claires. Comme tous les modèles d’IA, il peut reproduire les biais présents dans les données d’entraînement. Dans le domaine juridique, par exemple, un modèle principalement entraîné sur des cas américains risque de mal s’adapter aux systèmes de droit civil comme celui de la France, où les raisonnements et les sources de droit diffèrent. Google reconnaît ce risque et propose des outils de débiaisage via Vertex AI, mais leur efficacité devra être évaluée dans des déploiements réels.

Un autre enjeu majeur concerne la souveraineté des données. Même si le modèle traite les médias sans les stocker durablement — les vecteurs étant effacés après traitement — certaines organisations restent réticentes à utiliser des services cloud pour des données sensibles, comme les dossiers médicaux ou les documents confidentiels. Google met en avant une version on-premise via Vertex AI on-prem, mais son déploiement demeure complexe et coûteux pour beaucoup d’acteurs.

L’avenir du RAG multimodal : vers une recherche plus « humaine »

À plus long terme, Gemini Embedding 2 pourrait transformer les systèmes de recherche en rapprochant leur fonctionnement de celui d’un lecteur ou d’un expert humain. L’idée d’une recherche universelle se concrétise : poser une question comme « Trouve-moi tous les articles scientifiques qui mentionnent des résultats similaires à ceux de cette étude, en tenant compte des graphiques et des conclusions orales des conférences associées » reste aujourd’hui complexe, car il faut combiner plusieurs outils spécialisés. Un seul modèle multimodal pourrait, demain, prendre en charge ce type de requête.

Les applications potentielles sont nombreuses dans des domaines comme :

• La recherche académique : croiser automatiquement articles, données visuelles (graphiques, schémas) et enregistrements de conférences pour identifier des tendances.
• La finance : analyser des rapports annuels (PDF), des présentations (vidéos) et des appels d’actionnaires (audio) afin de repérer des signaux faibles.
• La santé : rapprocher dossiers médicaux (textes), images d’examens (IRM, radiographies) et enregistrements de consultations (audio) pour affiner un diagnostic.

Ces cas d’usage soulèvent toutefois des questions éthiques sensibles : comment garantir la confidentialité des données les plus exposées ? Comment limiter les faux positifs dans des domaines comme la médecine, où l’erreur peut avoir des conséquences graves ? Google affirme travailler sur des mécanismes de transparence accrue, comme l’explicabilité des décisions du modèle (explainable AI), mais ces dispositifs restent encore peu éprouvés à grande échelle.

Gemini Embedding 2 représente ainsi une étape clé dans la diffusion de l’IA multimodale. En unifiant cinq types de médias dans un seul modèle, il simplifie les pipelines, réduit certains coûts et ouvre des cas d’usage qui relevaient jusqu’ici surtout des laboratoires de recherche. L’enjeu, désormais, sera de voir dans quelle mesure les entreprises parviendront à gérer les contraintes techniques et les risques éthiques associés à ces nouveaux outils.

Gemini Embedding 2 ne constitue pas seulement une avancée technique. Il invite les organisations à revoir la façon dont elles exploitent leurs corpus de données multimédias, en brisant les silos entre texte, image, vidéo et audio. Pour les entreprises, l’enjeu n’est pas seulement d’adopter le modèle, mais de définir des usages maîtrisés qui respectent leurs contraintes métier, réglementaires et de sécurité.

Les acteurs capables de expérimenter rapidement tout en encadrant ces déploiements devraient tirer un bénéfice réel de cette nouvelle génération d’outils d’analyse multimodale. Ceux qui attendent devront composer avec un écart technologique qui risque de se creuser.