Về việc ước lượng và tính hợp lệ của thời gian hoàn thành (time horizon) của AI: góc nhìn thống kê về biểu đồ METR

Time horizon 50% của METR đo thời gian con người hoàn thành những tác vụ phần mềm mà AI giải được với xác suất 50%, giúp biểu diễn năng lực AI bằng đơn vị dễ diễn giải. Trên 228 tác vụ và 26 AI, nghiên cứu tính lại các time horizon bằng spline và lý thuyết đáp ứng câu hỏi (IRT) để nới lỏng các giả định.