LM Eval Harness
LM Evaluation Harness là bộ công cụ chuẩn để chấm điểm model AI: cho model làm hàng trăm bài kiểm tra (toán, kiến thức, suy luận) rồi chấm xem được bao nhiêu điểm, giống như thi học kỳ cho AI. Các bảng xếp hạng model nổi tiếng đều dùng nó để đo. Dân nghiên cứu và dân làm model dùng nó để biết model của mình giỏi hay dở ở điểm nào. Lưu ý: chạy chấm điểm cần tải model về máy, model lớn thì cần GPU.
LM Evaluation Harness là bộ công cụ chuẩn để chấm điểm model AI: cho model làm hàng trăm bài kiểm tra về toán, kiến thức, suy luận rồi chấm xem được bao nhiêu điểm, giống như thi học kỳ cho AI. Các bảng xếp hạng model nổi tiếng đều dùng nó để đo. Dân nghiên cứu và dân làm model dùng nó để biết model của mình giỏi hay dở ở điểm nào. Lưu ý: chạy chấm điểm cần tải model về máy, model lớn thì cần GPU.
git clone https://github.com/EleutherAI/lm-evaluation-harness.git