Una cosa que pensé que veríamos más en 2025 fue cómo Gemini podría controlar su teléfono Android. Hubo una demostración de mayo y otros trabajos subyacentes, pero aún no tenemos la visión completa de Google.

En I/O 2025 en mayo, Google hizo una demostración del extremo prototipo de investigación del Plan Astra que podría recuperar contenido de la web/Chrome, averiguar y reproducir videos de YouTube, averiguar en sus correos electrónicos, hacer llamadas en su nombre y realizar pedidos.

La demostración de casi 2 minutos mostró a Gemini desplazándose por un PDF en Chrome para Android, adicionalmente de rajar la aplicación de YouTube en la página de resultados de búsqueda, desplazarse y luego separar/tocar un video. Google está trabajando para tolerar estas capacidades a Gemini Live.

En octubre, Google puso a disposición de los desarrolladores un maniquí de uso de la computadora en lectura preliminar que permite a Gemini interactuar con interfaces de adjudicatario (desplazándose, haciendo clic y escribiendo) como lo hacen los humanos. Lo que está habitable actualmente está “optimizado para navegadores web”, pero Google destacó “una gran promesa para las tareas de control de la interfaz de adjudicatario móvil”.

Anuncio: desplácese para ver más contenido

Google describió estas capacidades como un “próximo paso crucial en la creación de agentes potentes y de uso universal”, ya que “muchas tareas digitales aún requieren interacción directa con interfaces gráficas de adjudicatario”.

A lectura futura de Siri te permitirá “tomar medidas en y entre aplicaciones” usando tu voz. La visión que Apple presentó en 2024 es que las tareas que habrían requerido ocurrir por varias aplicaciones “podrían abordarse en cuestión de segundos” a través de una serie de indicaciones de voz. Apple ha detallado lo que deben hacer los desarrolladores de aplicaciones para apoyar esto. Hasta ahora, no hemos recibido mínimo de Google, específicamente del equipo de Android, si se avecina un sistema o enfoque similar.

…Siri puede realizar acciones en todas las aplicaciones, por lo que luego de pedirle a Siri que mejore una foto diciendo “Haz que esta foto destaque”, puedes pedirle a Siri que la coloque en una nota específica en la aplicación Notas, sin mover un dedo.

En cambio, lo que ha mostrado Google es muy generalizado y parece no requerir ninguna integración previa. En muchos sentidos, es un enfoque pragmático, especialmente si los desarrolladores de Android no se apresuran a reconocer esto en sus aplicaciones.

Esta no es la primera vez que Google trabaja en este sentido. La premisa del nuevo Asistente de Google en 2019 era que el procesamiento de voz en el dispositivo (un gran avance en ese momento) haría que “tocar para usar el teléfono… pareciera moroso”.

Este Asistente de próxima vivientes le permitirá negociar instantáneamente su teléfono con su voz, realizar múltiples tareas en aplicaciones y completar acciones complejas, todo con una latencia casi nula.

Esto verdaderamente no despegó en 2019 y nunca abandonó la exclusividad de Pixel, ya que sufrió los mismos problemas de la era preparatorio de asistentes, como los comandos de voz reglamentados.

Los LLM deberían permitirle expresar su comando de guisa conversacional. Con suerte, incluso soluciona las limitaciones de capacidad al poder realizar acciones en cualquier aplicación o sitio web sin deber estado expuesto previamente a él, lo que parece ser la restricción en el sistema de Apple.

La IA generativa parece encarar todas las quejas del enfoque preparatorio de Google, pero me consulto cómo lo abordará la concurrencia esta vez.

Algunos escenarios en los que esto sería útil son conveniente obvios, como el uso de manos libres, como Google quería mostrar en la demostración de Astra. De guisa conservadora, esperaría que este sea el importancia de la prohijamiento generalizada el próximo año.

Las implicaciones para las anteojos inteligentes (o incluso los relojes) son profundas. Luego de todo, no ejecutará aplicaciones del tamaño de un teléfono en anteojos con pantalla en el corto plazo. Imagínese si su teléfono pudiera controlarse y transmitirse información desde esos dispositivos secundarios, incluidos los auriculares, mientras la pantalla permanece apagada en su saquillo.

Más allá de eso, mi gran pregunta es si este control por voz, suponiendo una precisión perfecta, algún día se convertirá en el principal método de interacción táctil del adjudicatario para su teléfono, si no es para su computadora portátil.