computer_use (OpenAI)

Certaines tâches nécessitent d'interagir avec une interface graphique : remplir un formulaire, tester un parcours utilisateur, naviguer dans une application. Computer use permet à un modèle d'OpenAI de prendre le contrôle d'un navigateur ou d'un bureau virtuel pour accomplir ces actions à la place de l'utilisateur.

Concrètement, le modèle reçoit des captures d'écran de l'environnement et renvoie soit du code (Python avec PyAutoGUI, JavaScript avec Playwright) soit des actions structurées de souris et de clavier. L'application hôte exécute ces instructions dans un environnement isolé, renvoie le résultat au modèle, et la boucle continue jusqu'à la fin de la tâche.

Cet outil s'adresse aux développeurs qui souhaitent automatiser des interactions avec des interfaces graphiques via l'API OpenAI, par exemple pour des tests de flux utilisateur ou des tâches répétitives dans des applications web ou de bureau.

Il ne convient pas à un usage sur un poste de travail réel sans supervision stricte : le modèle dispose d'un accès en écriture, en exécution et au réseau, ce qui représente un risque significatif en dehors d'un environnement contrôlé.