ในช่วงไม่กี่เดือนที่ผ่านมา พนักงานจากบริษัท AI ชั้นนำได้เริ่มถกเถียงกันอย่างเปิดเผยถึงความเป็นไปได้ที่ผลิตภัณฑ์ AI ของตนอาจนำไปสู่การสูญพันธุ์ของมนุษย์ โดยมีนักวิจัยบางคนลาออกพร้อมเตือนถึงการแข่งขันเพื่อสร้าง AI ที่พัฒนาตนเองได้ (Recursive Self-Improvement หรือ RSI) ซึ่งอาจนำไปสู่ปัญญาประดิษฐ์ระดับสุดยอด (Artificial Superintelligence หรือ ASI) ที่มีขีดความสามารถทางปัญญาที่เหนือกว่ามนุษย์อย่างมหาศาล และอาจควบคุมไม่ได้
อย่างไรก็ตาม Cal Newport นักวิทยาศาสตร์คอมพิวเตอร์จาก Georgetown University ได้ตั้งคำถามถึงความเป็นไปได้ทางวิศวกรรมของ ASI ในบทความของ IEEE Spectrum เขาแย้งว่าแนวคิด RSI ซึ่งเป็นแกนหลักของการสร้าง ASI ยังคงเป็นเพียงการคาดเดาที่ขาดรายละเอียดทางวิศวกรรมที่ชัดเจน แม้ว่าบริษัท AI อย่าง Anthropic และ OpenAI จะพยายามเร่งการพัฒนา AI ด้วยการใช้ AI เขียนโค้ด ตรวจสอบข้อผิดพลาด และทำการวิจัย
Newport ชี้ให้เห็นถึงอุปสรรคสำคัญ เช่น การลดลงของผลตอบแทนจากการขยายขนาดโมเดลภาษาขนาดใหญ่ (LLM) หลัง GPT-4 ซึ่งแสดงให้เห็นว่าการเพิ่มพารามิเตอร์เพียงอย่างเดียวอาจไม่เพียงพอต่อการนำไปสู่ ASI อย่างต่อเนื่อง เขายังแสดงความกังวลว่า แม้ ASI อาจไม่เกิดขึ้นจริง แต่การไล่ตามเป้าหมายนี้ก็อาจก่อให้เกิดอันตรายอย่างแท้จริงได้.