Anthropic เปิดตัวคลังการตรวจสอบรูปแบบขนาดใหญ่แบบโอเพนซอร์ส Claude

บริษัทปัญญาประดิษฐ์ Anthropic ภายใต้ Frontier Red Team ได้เผยแพร่การวิจัยเมื่อวันที่ 22 ตุลาคม โดยระบุว่าโมเดลภาษาขนาดใหญ่สามารถเขียนการพิสูจน์รูปแบบได้โดยอัตโนมัติในขนาดที่ใหญ่ขึ้น ทีมงานได้ร่วมมือกับ Theorem โดยใช้ Claude ในการพิสูจน์คุณสมบัติด้านความปลอดภัยของคลังข้อมูลโอเพนซอร์สจริงกว่า 100 แห่งในระดับการประกอบ RISC-V ซึ่งเป็นครั้งแรกที่ใช้ AI ในการตรวจสอบรูปแบบขนาดใหญ่สำหรับซอฟต์แวร์ที่ผลิตขึ้นในระดับการประกอบ ในระหว่างการเขียนการพิสูจน์ ทีมงานพบช่องโหว่ที่ไม่เคยถูกค้นพบมาก่อนหลายปี การทดลองได้เปลี่ยนการทดสอบ fuzz ที่สามารถคอมไพล์ได้ซึ่งมีอยู่ใน Google OSS-Fuzz ให้เป็นสเปค โดยภายใต้สมมติฐานของการทำงานแบบสตริงเดียว บิตสถิติคงที่ CPU RISC-V และ Linux สำหรับข้อมูลใดๆ ที่มีขนาดน้อยกว่า 64 MB โปรแกรมควรจะออกอย่างปกติและไม่กระตุ้นข้อผิดพลาดด้านความปลอดภัยของหน่วยความจำหรือการล้มเหลวของการยืนยัน Claude หลังจากแก้ไขปัญหาได้พิสูจน์คุณสมบัติดังกล่าวในจุดเข้าถึง 239 จุดจาก 123 คลัง OSS-Fuzz โดยการพิสูจน์ที่เกี่ยวข้องกับคำสั่ง RISC-V ที่คอมไพล์แล้วมีประมาณ 180 ล้านบรรทัด Rocq และตรวจสอบโดยเคอร์เนล Rocq หน้าเว็บระบุว่านี่ไม่ได้หมายความว่าคลังเหล่านี้ไม่มีช่องโหว่ ปัญหาที่เหลืออาจอยู่ในส่วนประกอบที่เชื่อถือได้หรืออยู่นอกขอบเขตการพิสูจน์ ทีมงานยังได้ให้ Claude ทำการพิสูจน์ RFC 1950 และพิสูจน์ว่า zlib ที่ใช้งานในเคอร์เนล Linux สอดคล้องกับสเปคในระดับบิต x86; โดยใช้ Rust เขียนตัวแปลที่ครอบคลุม Python subset ขนาดใหญ่ โดยมีอัตราส่วนที่สอดคล้องกับพฤติกรรมของ CPython มากกว่า 1.7 ล้านโปรแกรมที่สร้างแบบสุ่มอยู่ที่ 99.95% ใน 36 งานการตรวจสอบขนาดเล็ก Opus 5.5 ได้พิสูจน์ว่าต้องใช้โทเคนประมาณ 40% น้อยกว่า Opus 5 สำหรับครึ่งหนึ่งของงานที่ต้องการ