Microsoft ha appena lanciato una nuova funzionalità di Copilot Studio chiamata "Utilizzo del computer".
Permette agli agenti di intelligenza artificiale di eseguire azioni sullo schermo, come cliccare sui pulsanti, digitare nei campi, scorrere le pagine web e spostarsi tra le app.
Quindi, se il tuo processo si svolge su un mucchio di siti web, popup e strumenti non funzionanti e privi di API, ora Copilot è in grado di gestirlo.
📣 Cosa dice Microsoft
Microsoft lo descrive come un aggiornamento che consente agli agenti di interagire con interfacce utente grafiche, consentendo loro di completare le attività simulando clic del mouse e input da tastiera.
Affermano che ciò consente agli agenti di "operare su sistemi privi di API o integrazioni dirette".
In altre parole: anche se il tuo software non comunica con nulla, Copilot continuerà a svolgere il suo lavoro.
Sottolineano inoltre che il sistema utilizza un ragionamento approfondito per comprendere cosa c'è sullo schermo e decidere come procedere, anche quando il layout cambia.
💬 In parole umane
Ciò significa che il tuo agente Copilot non ha bisogno che tutto sia perfetto.
Può:
Riconoscere le pagine di accesso, anche se il pulsante è stato spostato
Compila un modulo, anche se le etichette sono strane
Completa attività in più fasi, anche quando si presenta qualcosa di inaspettato
Perché?
Perché è stato addestrato a riconoscere schemi e può capire cosa fare in base a ciò che ha visto prima.
Non memorizza le schermate. Le legge.
Ecco come si confronta:
Compito | Vecchi robot di automazione | Nuova funzionalità del copilota |
Necessita di un layout esatto | ✅ Sì | ❌ No |
Gestisce i cambiamenti visivi | ❌ Pause | ✅ Continua ad andare avanti |
Funziona senza API | ❌ Non posso | ✅ Può |
Comprende i modelli | ❌ No | ✅ Sì |
Gestisce le sorprese (popup, ritardi) | ❌ Si blocca | ✅ Prova un altro modo |
Questa non è un'intelligenza artificiale che attende istruzioni chiare.
Si muove insieme al disordine.
🧪 Ciò che nessuno dice ad alta voce: ecco dove gli algoritmi di ricerca approfondita iniziano effettivamente ad avere importanza
Finora, gli algoritmi di ricerca approfondita venivano utilizzati principalmente per creare documenti intelligenti, per scrivere report, estrarre dati e supportare contenuti di ricerca intensiva.
Abbiamo visto i fornitori abbellirlo con titoli come "intelligenza artificiale di livello accademico" o "chatbot con una laurea".
Sembrava impressionante, ma non dimostrava cosa questo tipo di algoritmo potesse realmente fare.
Questo aggiornamento cambia le cose.
Perché questa volta non viene utilizzato per scrivere di qualcosa, ma per fare qualcosa.
Fa clic
Si digita
Naviga nei sistemi senza istruzioni
Funziona anche quando il layout è diverso ogni volta
Ciò è possibile perché questo algoritmo funziona sulla base di schemi e non di comandi rigidi.
Non è una chat di livello superiore.
È la navigazione.
È azione digitale.
I vecchi robot necessitavano di etichette perfette e schermi pixel-perfect.
Questo no.
Questo è il vero impatto.
Cosa fa | Documento/Chat Uso di algoritmi profondi | Nuovo utilizzo di Copilot Studio da parte di Microsoft |
Scrivere o riassumere il contenuto della ricerca | ✅ Sì | ❌ No |
Navigare su siti web e app | ❌ No | ✅ Sì |
Lavorare senza dati strutturati (API) | ❌ Non costruito per questo | ✅ Lo gestisce |
Adattarsi ai cambiamenti dello schermo | ❌ Non pertinente | ✅ Capacità di base |
Agisci sulle informazioni in tempo reale | ❌ Non posso | ✅ Fa |
Ed è qui che vediamo il vero cambiamento: perché finalmente si tratta di fare il lavoro, non solo di descriverlo.
🔚 Conclusione
Costo: incluso in Microsoft Copilot Studio
Disponibilità: disponibile ora
Per saperne di più.
Se il tuo flusso di lavoro quotidiano prevede software brutti, portali strani e momenti in cui ti chiedi "perché c'è quel pulsante lì?", Copilot potrebbe finalmente aiutarti.
🧊 Prospettiva del team di Frozen Light
Tutti sono impegnati a parlare di questa funzionalità.
Sì, è utile.
Sì, fa clic sui pulsanti e invia le fatture.
Ma stiamo esaminando l'algoritmo, perché è la parte di cui nessuno parla abbastanza.
Si tratta di un algoritmo di ricerca approfondita, che funziona anche al di fuori del laboratorio.
Non è un riassunto. Non è una scrittura.
In realtà sta facendo le cose che odiamo fare:
Invio fatture
Accesso a sistemi macchinosi
Caricamento di file su portali non funzionanti
Completamento dell'onboarding sulle app che non si connettono
Questo è il vero progresso.
E noi siamo qui per questo.
Ma ecco perché stiamo davvero prestando attenzione:
Pochi giorni fa, Google ha dato agli editori di siti web una scelta :
Lascia che addestriamo il nostro algoritmo di ricerca approfondita sui tuoi contenuti... oppure disattivalo.
E indovinate un po'?
La maggior parte di loro ha detto di no.
Il token di Google è sceso rapidamente.
Questo è il tipo di impatto che hanno questi algoritmi quando non hanno accesso.
Adesso giralo.
La versione di Microsoft è sul campo, in azione e in continuo miglioramento, perché le persone la stanno utilizzando.
Ed ecco la scomoda verità:
Quando utilizziamo questi strumenti, siamo parte di quella formazione.
Non stiamo dicendo che sia un bene o un male.
Stiamo dicendo: questo è il ruolo che gli utenti svolgono nell'intelligenza artificiale in questo momento, che lo ammettiamo o no.
Microsoft non ha inserito questo modello in Copilot Studio in modo casuale.
E non crediamo che l'abbiano addestrato in isolamento.
Se ci sbagliamo? Ci dispiace, Microsoft.
Ma noi non pensiamo di esserlo.
Quindi no, non devi essere d'accordo.
Non è obbligatorio partecipare.
Ma continueremo a sottolineare ciò che nessun altro dice:
Il progresso deriva dagli algoritmi a cui è consentito giocare.
E questo qui sta giocando duro.
Siamo emozionati.
Perché questo non è un ulteriore aumento della produttività.
Questo è un nuovo modo di fare le cose.
Stiamo osservando come questo algoritmo si evolverà tra i principali fornitori.
