ESP32 iPhone Agent
7 dolarlık kartla iPhone'u kullanan yapay zekâ. Ucuz bir ESP32-S3 kartı iPhone'un ekranını AirPlay ile alıyor. Aynı kart telefona USB HID fare ve klavye olarak takılıyor; AssistiveTouch açıkken dokunma, kaydırma ve yazma işlerini yapıyor. OpenAI uyumlu herhangi bir görsel model, ekran görüntüsüne bakıp sıradaki adımı planlıyor. İlk sürümde (v0.1.0) 'beyin' bir Mac ya da Linux bilgisayardı. Şimdiki main dalında bilgisayar kalktı: kart AirPlay alıcısı oldu, ajan da aynı iPhone'da çalışan bir uygulamaya taşındı.
Donanım kurcalamayı seven maker'lar ve telefonda ekran otomasyonunu jailbreak'siz denemek isteyenler.
Nasıl kullanılır?
5 adımESP32-S3 adlı ucuz bir kart iPhone'a USB ile takılıyor ve telefon onu fare + klavye sanıyor. iPhone'da AssistiveTouch açıkken imleçle dokunma ve kaydırma yapılabiliyor.
yani: bu numaraya USB HID denir.
Aynı kart bir AirPlay alıcısı gibi davranıp iPhone ekranının görüntüsünü alıyor; yani sistemin 'gözü' de o.
Ekran görüntüsü, OpenAI uyumlu herhangi bir görsel modele gönderiliyor; model 'şuraya dokun, şunu yaz' gibi sıradaki adımı söylüyor ve kart bunu uyguluyor.
İlk sürümde beyin bir bilgisayardı; şimdi ajan iPhone'da çalışan bir uygulamaya taşındı. Çalışırken Mac gerekmiyor; Mac ve Xcode yalnızca kartı bir kez programlamak ve uygulamayı telefona yüklemek için gerekiyor (ücretsiz Apple kimliği yetiyor, imza 7 günde bir yenileniyor).
Denemek için ESP32-S3 kartı alıp README'deki hardware/flash.sh betiğiyle kartı hazırlıyor, sonra iOS uygulamasını telefona kuruyorsunuz; uygulama kalan kurulumu dört adımda kendisi kontrol ediyor.
Kendin kur
arduino-cli lib install "NimBLE-Arduino@2.5.1" && hardware/flash.sh (sonra ios/IPhoneAgent.xcodeproj Xcode ile iPhone'a derlenip yüklenir)
Çok yeni, büyük ölçüde tek kişilik bir proje. Ekran görüntüleriniz seçtiğiniz görsel model servisine gönderilir; hassas ekranlar modele açılmış olur. README'nin de uyardığı gibi issue ve yorumlardaki 'hızlı kurulum' tek satırlık komutlarını asla çalıştırmayın.
Bu proje tarayıcıda denenmiyor; kurulum gerekiyor. Yukarıdaki adımlar tam da bunun için.