Phân cấp suy luận AI tạo ra (GenAI) trên thiết bị — Sách trắng

Mô tả

Đưa suy luận AI đến gần hơn với nguồn dữ liệu mang lại lợi thế đáng kể về chi phí, quyền riêng tư và hiệu suất. Những tiến bộ gần đây trong các mô hình GenAI nhẹ (tức là các tham số 1-8B) cung cấp cơ hội đột phá để chuyển triển khai GenAI từ đám mây sang biên, nhưng các lựa chọn thay thế cho GenAI dựa trên đám mây cần phải thiết thực và hiệu quả. Sách trắng này phác thảo một cách tiếp cận chiến lược để chuyển việc triển khai GenAI từ các giải pháp gốc đám mây (tức là dựa trên GPU) sang các giải pháp biên (tức là dựa trên phần cứng) bằng cách sử dụng khả năng tăng tốc điện toán tích hợp của CPU-GPU-NPU (ví dụ: bộ xử lý Intel® Core™ Ultra Intel® Arc™ GPU) và các mô hình GenAI nguồn mở. Việc triển khai trên thiết bị mang lại tổng chi phí sở hữu (TCO) thấp, khả năng ngoại tuyến, chủ quyền dữ liệu và giảm độ trễ, giúp các mô hình GenAI mạnh mẽ có thể truy cập được trên khắp các khu vực và lĩnh vực trước đây có thể gặp phải rào cản khi triển khai.