Die meiste Automatisierung kommt mit Bildsuche und Texterkennung aus. Manchmal scheitert beides — das Bild sieht jedes Mal anders aus, oder es steht überhaupt kein Text da. Genau dort setzen die KI-Module an: Sie beurteilen ein Bild, statt es zu vergleichen.
Du listest die möglichen Zustände auf — Kampf, Menü, Ladebildschirm — und der Ablauf verzweigt dorthin, was die KI sieht. Und erkennt sie es nicht sicher, nimmt sie den Ausgang „unklar“, statt zu raten. Die Antwort wird immer gegen deine Liste geprüft; einen eigenen Zustand kann sie also nicht erfinden.
Gold, Level, Gegnername: ein Aufruf, je Wert ein Ausgang. Nützlich überall dort, wo die Texterkennung aufgibt — kleine Schrift, unruhiger Hintergrund, in ein Bild gezeichnete Zahlen.
Dieser Weg läuft außerhalb der App: Über die Steuer-API kann ein Assistent wie Claude Code oder Codex den Modul-Katalog lesen, einen Bot schreiben, ihn prüfen lassen, starten, das Protokoll lesen — und sogar einen Screenshot ansehen, um eigene Fehler zu beheben.
Für das Erkennen auf dem Bildschirm genügt ein lokales Modell auf dem eigenen Rechner — so haben wir es geprüft. Die App findet einen laufenden Modell-Server von selbst und wählt ein Modell vor, das Bilder lesen kann.
| Lokales Modell | Anbieter (Claude, GPT …) | |
|---|---|---|
| Kosten je Frage | keine | nach Bildfläche und Textlänge |
| Tempo | 0,2–0,6 s, sobald das Modell geladen ist; der erste Aufruf braucht etwa 15 s | meist 1–3 s, je nach Leitung |
| Daten | das Bild bleibt auf dem Rechner | der gewählte Bereich geht zum Anbieter |
| Einrichtung | Ollama installieren, ein Modell holen, „Lokale Modelle suchen“ drücken | Anbieter-Schlüssel eintragen |
Eine Messung, die sich lohnt zu kennen: Ein enger Bereich schlägt das ganze Fenster. Bei gleichem Screenshot und gleicher Frage wurde das verkleinerte Vollbild falsch gelesen, ein 750×385 großer Ausschnitt der richtigen Stelle dagegen richtig — bei 54 KB statt 4,4 MB.
Nicht für jeden Klick. Eine Bildsuche braucht Millisekunden und antwortet immer gleich; die KI braucht Zehntelsekunden und kann sich irren. Setze sie also dort ein, wo Verstehen nötig ist, und lass den Rest bei Vorlage und Texterkennung.
Und sie nimmt die Verantwortung nicht ab: Ein Bot, der selbst klickt, kann falsch klicken. Das Sicherheitsnetz — Panik-Taste, Trockenlauf, Not-Aus — ist mit KI genauso wichtig wie ohne.