تمكن مهندسو غوغل من تطوير نظام لترجمة لغة الإشارة في الوقت الفعلي على تطبيق يمكن تشغيله على أي هاتف ذكي. وأعلنت شركة غوغل عن إطلاق النظام القادر على تتبع الأصابع بدقة عالية من خلال التعلم الآلي، مؤكدة أن مهندسيها “أحرزوا تقدما ملحوظا في مشروع طموح”. ويقوم النظام الجديد باكتشاف راحة اليد، ثم تحديد 21 إحداثيّة عند نقاط محددة مثل قاعدة راحة اليد، وقاعدة كل إصبع، ومفاصل الأصابع وعقلة الإصبع، وهو ما يؤدي إلى إنشاء خارطة هيكلية ثلاثية الأبعاد لليد المتحركة. وقام الفريق يدويًا بإصدار حوالي 30 ألف صورة من الأيادي باستخدام هذه الإحداثيات، حتى تتمكن الخوارزمية من تحديد نفس النقاط في كل مرة. ويمكن للنظام تحديد مختلف علامات اليد بما في ذلك علامة الإبهام للأعلى، والقبضة المغلقة وعلامة “أوكي” وغيرها من علامات الإشارة. كما طبقت غوغل خوارزمية للتعرف على إيماءات الثقافات المتعددة من مختلف البلدان مثل الولايات المتحدة وجميع بلدان أوروبا والصين. وفي مقاطع الفيديو والصور التي نشرتها غوغل، تعقب النظام بنجاح حركة اليد حتى في الحالات التي تكون فيها متزامنة مع حركة يد أخرى أو تكون فيها الحركة سريعة أو تظهر خلال إضاءة رديئة. وقررت غوغل وضع المشروع على أساس “مفتوح المصدر” بحيث يمكن للمطورين تحسينه واستخدامه في تطبيقات مختلفة. كما طرحته للتعلم الآلي. وتقول غوغل إنها ستواصل العمل على زيادة عدد الإيماءات التي يمكن اكتشافها، مؤكدة على أن التكنولوجيا بسيطة نسبياً مقارنة بجهود تعقب اليد الأخرى، مما يعني أنها لا تتطلب تشغيل أجهزة الكمبيوتر ويمكن أن تعمل بشكل جيد على الهاتف المحمول. وحتى إذا تم تطوير النظام بنجاح، فإنه لا يمكنه توفير ترجمة كاملة للغة الإشارة، التي تستخدم حركات الوجه والجسم أيضًا. ومع ذلك، يمكن أن يكون هذا النظام محورياً لأنظمة أخرى إذ يمكنه أن يخدم أغراضًا أخرى بما في ذلك التحكم في الأجهزة والمعدات التي تعمل بالإيماءات اليدوية. ويقول جيسال فيشنورام، مدير التكنولوجيا في مؤسسة “آكشن أون هيرنغ لوس”، إن المبادرة كانت خطوة أولى جيدة، لكن يجب أن تقترن بخطوات أخرى. وقال “من وجهة نظر الشخص الأصم، سيكون من المفيد أكثر تطوير البرمجيات التي يمكن أن توفر ترجمات آلية للنص أو الصوت إلى لغة الإشارة للمساعدة في المحادثات اليومية وتقليل عزلته في العالم من حوله”. وفي البرازيل، قام رجل الأعمال الاجتماعي، رونالدو تينوريو، بتطوير تطبيق “هاند توك” الذي يمكنه أن يترجم الكلمات المنطوقة إلى لغة الإشارة البرازيلية كما يتم التعبير عنها بواسطة تجسيد متحرك على هاتف المستخدمين. وللتواصل مع الأشخاص الطبيعيين، الذين لا يستطيعون فهم لغة الإشارة، يمكن للصم عرض رسالة على هواتفهم تدعوهم إلى التحدث حتى يتمكن النظام من ترجمة ما يقولونه. ومن بين الأعمال الأخرى في هذا المجال، قامت شركة مايكروسوفت بتطبيق نموذج يستند إلى تقنية يمكنها ترجمة لغة الإشارة إلى لغة منطوقة أو ترجمات فرعية أو إلى لغة إشارة أخرى باستخدام صورة متحركة. كما طورت نظاما يقوم بترجمة كلمات المحاضرين الجامعيين، والتي يمكن للطلاب مشاهدتها جنبا إلى جنب مع ترجمة مترجمي لغة الإشارة. وكان الطلاب في جامعة نيويورك طوروا العام الماضي تطبيقًا للهاتف يمكنه ترجمة عدد محدود من عبارات لغة الإشارة حول حجز المواعيد الطبية.