شرح إمكانيات Computer use AI

يمثل Computer use AI تحولاً في الذكاء الاصطناعي من معالجة النصوص البحتة إلى التفاعل التشغيلي مع الواجهات. من خلال الاستفادة من النماذج متعددة الوسائط التي تتعامل مع لقطات الشاشة كمدخلات، يمكن لهذه الوكلاء تحديد العناصر المرئية مثل الأزرار وحقول الإدخال والقوائم، وتحويلها إلى أوامر قابلة للتنفيذ بناءً على الإحداثيات. تاريخياً، كانت أتمتة البرمجيات تعتمد على APIs جامدة أو تقنيات قراءة الشاشة التي تتعطل كلما تغيرت الواجهة. يتجاوز Computer use AI هذه القيود باستخدام الاستدلال البصري لتفسير واجهة المستخدم كما يفعل الإنسان. تتيح الإصدارات الحالية، مثل تلك التي ريادتها Claude 3.5 Sonnet من Anthropic، سير عمل معقد متعدد الخطوات. يمكن للوكيل التنقل في متصفح ويب لتحديد بيانات معينة، ونسخ تلك البيانات، والتبديل إلى محرر مستندات، ولصق المعلومات، وتنسيقها وفقاً للتعليمات. هذه التكنولوجيا ذات قيمة خاصة للمؤسسين الذين يحتاجون إلى سد الفجوات بين الأنظمة القديمة غير المتوافقة أو أداء المهام الإدارية المتكررة. مع نضوج المجال، تنتقل هذه الوكلاء من مهام الأتمتة البسيطة إلى أدوار تنسيق متطورة. لم تعد مقيدة بنصوص برمجية محددة مسبقاً، بل تمارس الاستقلالية للتعامل مع الأخطاء غير المتوقعة أو تخطيطات الصفحات المتغيرة أثناء تنفيذ المهام. هذا التطور يمهد لعصر جديد من برمجيات المساعد الشخصي التي تدير تطبيقات سطح المكتب، وأدوات الويب، وبيئات السحابة كمساحة عمل موحدة ومؤتمتة.