IA do Windows passa a te ouvir e ver sua tela para auxiliar nas tarefas

Ferramenta Hey Copilot chega ao Windows 11 • O comando "Hey Copilot" permite controlar o Windows 11 por voz, realizar ações e fazer perguntas com suporte da IA.

• O Copilot Vision analisa a tela e fornece assistência contextual, enquanto o Copilot Actions automatiza tarefas com linguagem natural.

• A atualização também traz melhorias no menu Iniciar e integração com serviços como Google Drive, Gmail, OneDrive e Zoom.

A Microsoft anunciou hoje uma atualização do Windows 11 que permite controle por voz com apoio da inteligência artificial. Sim, você poderá falar com o seu dispositivo para realizar certas atividades. Além disso, a Microsoft decidiu colocar a IA diretamente no menu Iniciar do sistema operacional.

O recurso Copilot Voice será ativado com o comando "Hey Copilot" e estará disponível em todos os dispositivos com Windows 11 e Copilot. A empresa explicou ao Tecnoblog que não há necessidade de hardware adicional. A funcionalidade permite que usuários façam perguntas e solicitem ações usando linguagem natural, com o assistente respondendo por voz ou texto.

Tanto ele quanto o Copilot Vision formam a base da nova experiência de IA no Windows. Dados internos mostram que 68% dos usuários que utilizam comandos de voz interagem duas vezes mais com o Copilot do que aqueles que usam apenas texto.

Ambos são opcionais. No caso do Copilot Vision, o assistente de IA analisa o conteúdo da tela do computador e realiza o suporte guiado. Ele é capaz de aprender com novos aplicativos, obter recomendações para projetos ou receber instruções passo a passo.

Copilot indica como fazer um ajuste no SpotifyDe acordo com a Microsoft, o Copilot Vision considera apenas o que é visível ao usuário. A exceção fica por conta do Word, Excel e PowerPoint, em que a totalidade dos documentos abertos é lida pelo Vision.

A empresa está testando uma versão experimental do Copilot Actions para arquivos locais no Windows, que permitirá ao assistente executar tarefas como organizar fotos de férias ou extrair informações de PDFs. O recurso funciona como um agente de propósito geral que recebe instruções em linguagem natural e tenta completá-las interagindo com aplicativos de desktop e web. Durante a execução, o usuário pode acompanhar o progresso ou assumir o controle da tarefa. Inicialmente, essa função será liberada para os integrantes do Windows Insiders, programa beta da companhia.

Mudanças no menu Iniciar

A empresa reformulou a barra de tarefas do Windows com a função "Ask Copilot", que oferece acesso rápido ao Copilot Vision e Voice. Ela fica ao lado do botão de Windows, no antigo menu Iniciar. A nova ferramenta de busca promete resultados mais rápidos para encontrar aplicativos, arquivos e configurações, com atualização instantânea dos resultados durante a digitação.

Fonte: Tecnoblog