Tối ưu hóa và chạy LLaMA2 trên CPU Intel®

Mô tả

Trong sách trắng này, chúng tôi trình bày cách bạn có thể thực hiện tối ưu hóa nền tảng phần cứng cụ thể để cải thiện tốc độ suy luận của mô hình LLaMA2 LLM trên llama.cpp (phần mềm suy luận mô hình LLaMA mã nguồn mở) chạy trên Nền tảng CPU Intel®.