Intel® Distribution bộ công cụ OpenVINO™

Có gì mới không

• Tích hợp khung và phạm vi AI thế hệ nhiều hơn để giảm thiểu thay đổi mã.
  • Các model mới được hỗ trợ: Phi-4 Mini, Jina CLIP v1, và Bce Embedding Base v1.
  • Máy chủ mô hình OpenVINO™ hiện hỗ trợ các mô hình VLM, bao gồm Qwen2-VL, Phi-3.5-Vision và InternVL2.
  • OpenVINO GenAI hiện bao gồm các tính năng chuyển hình ảnh thành hình ảnh và inpaint cho các đường ống dựa trên máy biến áp, chẳng hạn như các mô hình Flux.1 và Stable Diffusion 3, nâng cao khả năng tạo ra nội dung thực tế hơn.
  • Xem trước: AI Playground hiện sử dụng phụ trợ GenAI OpenVINO để kích hoạt hiệu suất suy luận được tối ưu hóa cao trên PC AI.
• Hỗ trợ mô hình LLM rộng hơn và nhiều kỹ thuật nén mô hình hơn.
  • Giảm kích thước nhị phân thông qua tối ưu hóa plugin CPU và loại bỏ nhân GEMM.
  • Tối ưu hóa hạt nhân mới cho plugin GPU làm tăng đáng kể hiệu suất của các mô hình Bộ nhớ ngắn hạn dài hạn (LSTM), được sử dụng trong nhiều ứng dụng, bao gồm nhận dạng giọng nói, mô hình hóa ngôn ngữ và dự báo chuỗi thời gian.
  • Xem trước: Trục xuất mã thông báo được triển khai trong OpenVINO GenAI để giảm mức tiêu thụ bộ nhớ của KV Cache bằng cách loại bỏ các mã thông báo không quan trọng. Việc triển khai Trục xuất mã thông báo hiện tại này có lợi cho các tác vụ tạo ra một chuỗi dài, chẳng hạn như chatbot và tạo mã.
  • Tăng tốc NPU để tạo văn bản hiện đã được bật trong OpenVINO™ Runtime và OpenVINO™ Model Server để hỗ trợ triển khai hiệu quả năng lượng của các mô hình VLM trên NPU cho các trường hợp sử dụng PC AI với tính đồng thời thấp.
• Tính di động và hiệu suất cao hơn để chạy AI ở biên, trong đám mây hoặc cục bộ.
  • Hỗ trợ các bộ xử lý Intel® Core™ mới nhất (Series 2, trước đây có tên mã là Bartlett Lake), Intel® Core™ 3 Processor N-series và Bộ xử lý Intel® N-series (trước đây có tên mã là Twin Lake) trên Windows.
  • Tối ưu hóa hiệu năng LLM bổ sung trên bộ xử lý dòng 200H Intel® Core™ Ultra cải thiện độ trễ token thứ 2 trên Windows* và Linux*.
  • Nâng cao hiệu suất và sử dụng tài nguyên hiệu quả với việc triển khai Paged Attention và Continuous Batching theo mặc định trong plugin GPU.
  • Xem trước: Phần phụ trợ OpenVINO mới cho Executorch sẽ cho phép suy luận tăng tốc và cải thiện hiệu suất trên phần cứng Intel, bao gồm CPU, GPU và NPU.

Nhận tất cả các chi tiết. Xem ghi chú phát hành 2025.1.

Hướng dẫn cài đặt

Bạn có thể chọn cách cài đặt OpenVINO™ Runtime từ Archive* theo hệ điều hành của mình:

• Cài đặt OpenVINO Runtime trên Linux*
• Cài đặt OpenVINO Runtime trên Windows*
• Cài đặt OpenVINO Runtime trên macOS*

Những gì được bao gồm trong gói tải xuống (Tệp lưu trữ)

• Cung cấp cả API C / C ++ và Python
• Ngoài ra bao gồm các mẫu mã

Liên kết hữu ích

LƯU Ý: Liên kết mở trong một cửa sổ mới.

• Trang nhà
• Tải xuống
• Tất cả Tài liệu, Hướng dẫn và Tài nguyên
• Sổ ghi chép OpenVINO
• Ghi chú Phát hành
• Diễn đàn cộng đồng
• Gửi sự cố trên GitHub*