La mayoría de la automatización se arregla con búsqueda de imágenes y reconocimiento de texto. A veces fallan las dos — la imagen cambia cada vez o no hay texto alguno. Ahí entran los módulos de IA: juzgan una imagen en lugar de compararla.
Enumeras los estados posibles — combate, menú, pantalla de carga — y el flujo se bifurca hacia el que ve la IA. Y si no lo distingue con seguridad, toma la salida «poco claro» en vez de adivinar. La respuesta se comprueba siempre contra tu lista, así que no puede inventarse un estado.
Oro, nivel, nombre del enemigo: una llamada, una salida por valor. Útil allí donde el reconocimiento de texto se rinde — letra pequeña, fondo movido, números dibujados en una imagen.
Este camino ocurre fuera de la aplicación: mediante la API de control, un asistente como Claude Code o Codex puede leer el catálogo de módulos, escribir un bot, hacerlo comprobar, arrancarlo, leer el registro — e incluso mirar una captura para corregir sus propios errores.
Para reconocer cosas en pantalla basta un modelo local en tu propio equipo — así lo comprobamos. La aplicación encuentra por sí sola un servidor de modelos en marcha y preselecciona un modelo capaz de leer imágenes.
| Modelo local | Proveedor (Claude, GPT …) | |
|---|---|---|
| Coste por pregunta | ninguno | según superficie de imagen y longitud del texto |
| Velocidad | 0,2–0,6 s una vez cargado el modelo; la primera llamada tarda unos 15 s | normalmente 1–3 s, según la conexión |
| Datos | la imagen se queda en tu equipo | el área elegida va al proveedor |
| Configuración | instalar Ollama, descargar un modelo, pulsar «Buscar modelos locales» | introducir la clave del proveedor |
Una medición que conviene conocer: un área ajustada supera a la ventana completa. Con la misma captura y la misma pregunta, la ventana entera reducida se leyó mal, mientras que un recorte de 750×385 del sitio correcto se leyó bien — con 54 KB en vez de 4,4 MB.
No para cada clic. Una búsqueda de imagen tarda milisegundos y responde siempre igual; la IA tarda décimas de segundo y puede equivocarse. Úsala donde hace falta entender y deja el resto a la plantilla y al reconocimiento de texto.
Y no quita la responsabilidad: un bot que hace clic por su cuenta puede hacer clic donde no debe. La red de seguridad — tecla de pánico, marcha en seco, parada de emergencia — importa igual con IA que sin ella.