เมื่อโมเดลภาษาขนาดใหญ่ (LLM) ถูกนำมาใช้มากขึ้นในแอปพลิเคชันที่ต้องการความรู้เชิงลึกและมีความสำคัญด้านความปลอดภัยในวิศวกรรมนิวเคลียร์ Benchmark ที่มีอยู่เดิมกลับให้ความสำคัญกับความถูกต้องของคำตอบเพียงอย่างเดียว โดยไม่ได้ประเมินคุณภาพของการให้เหตุผลอย่างเป็นระบบ ดังนั้นจึงมีการเปิดตัว NEBench R1 ซึ่งเป็น Benchmark ที่เน้นการให้เหตุผล โดยประกอบด้วยคำถามแบบปรนัย 7,546 ข้อที่ดึงมาจากข้อสอบใบอนุญาตผู้ปฏิบัติงานเครื่องปฏิกรณ์ของ U.S. Nuclear Regulatory Commission (NRC) ซึ่งครอบคลุมโรงงานนิวเคลียร์ 18 แห่ง แต่ละคำถามมีคำอธิบายอย่างเป็นทางการเพื่อใช้เป็นข้อมูลอ้างอิงในการประเมินคุณภาพการให้เหตุผล
ในการประเมิน LLM หกตัว พบว่าความแม่นยำโดยรวมอยู่ระหว่าง 34.0% ถึง 73.9% เมื่อประเมินคุณภาพการให้เหตุผลด้วย LLM-based Judge พบว่า แม้คำตอบที่ถูกต้องมักแสดงให้เห็นถึงความเข้าใจปัญหาที่ดี แต่กลับได้คะแนนต่ำในด้านความถูกต้องของข้อเท็จจริง ขั้นตอน และการวิเคราะห์ตัวเลือกที่ทำให้ไขว้เขว ซึ่งบ่งชี้ว่าคำตอบที่ถูกต้องไม่ได้มาจากการให้เหตุผลทางเทคนิคที่สมเหตุสมผลเสมอไป นอกจากนี้ การให้เหตุผลที่ยาวนานขึ้นยังสัมพันธ์กับความแม่นยำที่ลดลงในโมเดล Frontier แสดงว่าความยาวของการให้เหตุผลอาจสะท้อนถึงความยากของคำถามมากกว่าประสิทธิภาพในการแก้ปัญหาที่ดีขึ้น NEBench R1 จึงเป็นรากฐานในการประเมินความสามารถและความน่าเชื่อถือของ LLM ในวิศวกรรมนิวเคลียร์