Microsoft vient de lancer une nouvelle fonctionnalité dans Copilot Studio appelée « Utilisation de l’ordinateur ».
Il permet aux agents IA d'effectuer des actions sur votre écran, comme cliquer sur des boutons, saisir du texte dans des champs, faire défiler des pages Web et se déplacer entre des applications.
Ainsi, si votre processus réside sur un ensemble de sites Web, de fenêtres contextuelles et d'outils à moitié fonctionnels sans API, Copilot peut désormais le gérer.
📣 Ce que dit Microsoft
Microsoft décrit cela comme une mise à niveau qui permet aux agents d'interagir avec des interfaces utilisateur graphiques, leur permettant ainsi d'effectuer des tâches en simulant des clics de souris et des entrées au clavier.
Ils disent que cela donne aux agents la possibilité « d’opérer sur des systèmes dépourvus d’API ou d’intégrations directes ».
En d'autres termes : même si votre logiciel ne communique avec rien, Copilot fera quand même le travail.
Ils soulignent également que le système utilise un raisonnement profond pour comprendre ce qui se trouve à l'écran et décider de la marche à suivre, même lorsque la mise en page change.
💬 En mots humains
Cela signifie que votre agent Copilot n'a pas besoin que tout soit parfait.
Ça peut:
Reconnaître les pages de connexion, même si le bouton a bougé
Remplissez un formulaire, même si les étiquettes sont bizarres
Accomplissez des tâches en plusieurs étapes, même lorsque quelque chose d'inattendu survient
Pourquoi?
Parce qu'il a été entraîné à reconnaître des modèles et peut déterminer ce qu'il faut faire en fonction de ce qu'il a vu auparavant.
Il ne mémorise pas les écrans. Il les lit.
Voici comment cela se compare :
Tâche | Anciens robots d'automatisation | Nouvelle fonctionnalité du copilote |
Nécessite une disposition exacte | ✅ Oui | ❌ Non |
Gère les changements visuels | ❌ Pauses | ✅ Continue |
Fonctionne sans API | ❌ Je ne peux pas | ✅ Peut |
Comprend les modèles | ❌ Non | ✅ Oui |
Gère les surprises (popups, retards) | ❌ Reste coincé | ✅ Essaie une autre voie |
Ce n’est pas une IA qui attend des instructions claires.
Ça roule avec le désordre.
🧪 Ce que personne ne dit à voix haute : c'est là que les algorithmes de recherche approfondie commencent réellement à compter
Jusqu’à présent, les algorithmes de recherche approfondie étaient principalement utilisés pour créer des documents intelligents : rédiger des rapports, extraire des faits, aider à la recherche de contenu lourd.
Nous avons vu des fournisseurs l’habiller de titres tels que « IA de niveau universitaire » ou « un chatbot avec un diplôme ».
Cela semblait impressionnant, mais cela ne montrait pas ce que ce type d’algorithme pouvait réellement faire.
Cette mise à jour change cela.
Parce que cette fois, il ne s'agit pas d'écrire sur quelque chose, mais de faire quelque chose.
Ça clique
Il tape
Il navigue dans les systèmes sans instructions
Cela fonctionne même lorsque la mise en page est différente à chaque fois
C'est possible parce que cet algorithme fonctionne à partir de modèles, et non de commandes strictes.
Ce n’est pas une conversation de niveau supérieur.
C'est la navigation.
C'est une action numérique.
Les anciens robots avaient besoin d’étiquettes parfaites et d’écrans au pixel près.
Celui-ci ne le fait pas.
C’est là le véritable impact.
Ce qu'il fait | Utilisation d'algorithmes profonds dans les documents/discussions | Nouvelle utilisation de Copilot Studio par Microsoft |
Rédiger ou résumer le contenu de la recherche | ✅ Oui | ❌ Non |
Naviguer sur les sites Web et les applications | ❌ Non | ✅ Oui |
Travailler sans données structurées (API) | ❌ Pas conçu pour ça | ✅ Il le gère |
S'adapter aux changements d'écran | ❌ Non pertinent | ✅ Capacité de base |
Agir sur l'information en temps réel | ❌ Je ne peux pas | ✅ Est-ce que |
C'est là que nous voyons un véritable changement, car il s'agit enfin de faire le travail, et non pas simplement de le décrire.
🔚 En résumé
Coût : inclus dans Microsoft Copilot Studio
Disponibilité : En cours de déploiement
En savoir plus.
Si votre flux de travail quotidien comprend des logiciels laids, des portails étranges et des moments « pourquoi ce bouton est-il là ? », Copilot pourrait enfin être en mesure de vous aider.
🧊 Point de vue de l'équipe Frozen Light
Tout le monde est occupé à parler de la fonctionnalité.
Oui, c'est utile.
Oui, il clique sur des boutons et soumet des factures.
Mais nous nous intéressons à l’algorithme, car c’est la partie dont personne ne parle assez fort.
Il s’agit d’un algorithme de recherche approfondi — et il fonctionne en dehors du laboratoire.
Ce n'est pas un résumé. Ce n'est pas de l'écriture.
En fait, il s’agit de faire les choses que nous détestons faire :
Soumission de factures
Connexion à des systèmes maladroits
Téléchargement de fichiers sur des portails défectueux
Terminer l'intégration sur les applications qui ne se connectent pas
C'est un réel progrès.
Et nous sommes là pour ça.
Mais voici pourquoi nous y prêtons vraiment attention :
Il y a quelques jours, Google a donné le choix aux éditeurs de sites Web :
Laissez-nous former notre algorithme de recherche approfondie sur votre contenu… ou désinscrivez-vous.
Et devinez quoi ?
La plupart d’entre eux ont dit non.
Le jeton de Google a été abandonné — rapidement.
C’est le genre d’impact que ces algorithmes ont lorsqu’ils n’ont pas accès.
Maintenant, retournez-le.
La version de Microsoft est sur le terrain, en mouvement et s'améliore — parce que les gens l'utilisent.
Et voici la vérité inconfortable :
Lorsque nous utilisons ces outils, nous faisons partie de cette formation.
Nous ne disons pas que c’est bon ou mauvais.
Nous disons : c’est le rôle que jouent les utilisateurs dans l’IA à l’heure actuelle, que nous l’admettions ou non.
Microsoft n’a pas introduit ce modèle au hasard dans Copilot Studio.
Et nous ne pensons pas qu’ils l’aient formé de manière isolée.
Si nous nous trompons, désolé, Microsoft.
Mais nous ne pensons pas que nous le soyons.
Donc non, vous n’êtes pas obligé d’être d’accord.
Vous n'êtes pas obligé de participer.
Mais nous allons continuer à souligner ce que personne d’autre ne dit :
Le progrès vient des algorithmes qui sont autorisés à jouer.
Et celui-ci joue — dur.
Nous sommes excités.
Parce que ce n’est pas une nouvelle augmentation de la productivité.
C’est une nouvelle façon de faire les choses.
Et nous observons comment cet algorithme évolue chez tous les principaux fournisseurs.
