Tóm tắt
Bước nhanh để ràng buộc nhiều quy trình suy luận với các CPU khác nhau
Mô tả
Thời gian suy luận tăng gấp đôi khi chạy hai quá trình để suy luận cùng một mô hình.
- Sử OpenVINO™ để suy ra một mô hình.
- Thời gian suy luận là khoảng 300ms khi chạy một quá trình duy nhất.
- Khi sử dụng hai quy trình, thời gian suy luận cho cả hai quá trình sẽ trở thành 600ms.
Độ phân giải
- Thêm lệnh sau trong lệnh main.cpp .
ie.SetConfig({ { CONFIG_KEY(CPU_BIND_THREAD), "NO" } }, "CPU")
- Xây dựng bản demo.
Thông tin bổ sung
- Giá trị mặc định của cấu KEY_CPU_BIND_THREAD định cấu hình là CÓ.
- Trên Linux*, điều này khiến hai quá trình liên kết với cùng một lõi CPU và tăng gấp đôi thời gian suy luận.
- Cài đặt cấu KEY_CPU_BIND_THREAD hành thành NO unbinds inbinds inferencing threads from CPU cores on both Windows* and Linux*.
Tham khảo Tham số cấu hình được hỗ trợ để biết thêm thông tin về các tham số cấu hình cho trình cắm CPU.