يخشى بعض الخبراء من التطور المذهل للذكاء الاصطناعي، ومن إمكان استخدام هذه التقنية لأغراض ضارة. فقد كشفت ورقة حكومية بريطانية وضعها 50 خبيرا أنه بحلول 2025 يمكن استخدام الذكاء الاصطناعي لارتكاب عمليات احتيال وشن هجمات الكترونية. كما بينت أنه بحلول ذلك الوقت، سيكون لدى هذه التقنية القدرة على «تعزيز القدرات الإرهابية» في تطوير الأسلحة، والتخطيط للهجمات وإنتاج الدعاية، وفق صحيفة The Times. كذلك شملت مجموعة المخاطر الأكثر فتكا التي يمكن أن تنشأ بحلول 2030، «التضليل الجماعي» و«أزمة البطالة»، إذ يستولي الذكاء الاصطناعي على وظائف منخفضة المهارات، واستخدام التكنولوجيا لمساعدة الإرهابيين على تطوير أسلحة بيولوجية. وذكرت الورقة الصادرة عن المكتب الحكومي للعلوم، أنه لا توجد أدلة كافية لاستبعاد تهديد الذكاء الاصطناعي للإنسانية. واستنادا إلى مصادر، بما في ذلك المخابرات البريطانية، قالت الورقة إن كثيرا من الخبراء يعتقدون أن هذا «خطر ذو احتمال منخفض للغاية». ومع ذلك، أضافت: «بالنظر إلى عدم اليقين الكبير في التنبؤ بتطورات الذكاء الاصطناعي، إلا أنه لا توجد أدلة كافية لاستبعاد أنه إذا تم ضبط أنظمة الذكاء الاصطناعي ذات القدرة العالية، بشكل غير صحيح، أو لم يتم التحكم فيها بشكل كاف، يمكن أن تشكل تهديدا وجوديا». ولفتت إلى أن الذكاء الاصطناعي يمكنه بالفعل أداء «كثير من المهام المفيدة اقتصاديا» مثل تلخيص المستندات الطويلة وتحليل البيانات. وبحلول 2030، حسب أحد السيناريوهات، فإنه يمكن لشركات التكنولوجيا تطوير «ذكاء فائق» اصطناعي، قادر على إنجاز مهام معقدة وخداع البشر، وهو ما قد يشكل خطرا «كارثيا».