Giới thiệu: Tích hợp và triển khai AI trong chăm sóc sức khỏe
VITEC được giao nhiệm vụ tích hợp và triển khai các mô hình AI trong một thiết bị xử lý video hiện có được sử dụng trong phòng mổ. Thiết bị sử dụng công nghệ FPGA để xử lý video.
Các mô hình AI được đào tạo đã thực hiện các chức năng hỗ trợ thời gian thực sau:
- Phát hiện giai đoạn hoạt động để thông báo và cung cấp thông tin chi tiết cho đội ngũ điều dưỡng trong thời gian thực, đảm bảo quy trình làm việc hiệu quả và an toàn cho bệnh nhân trong phòng mổ.
- Tự động hóa việc phát hiện và sơ tán các tạp chất trong lĩnh vực phẫu thuật giúp tăng cường đáng kể tính vô trùng và an toàn của các thủ tục phẫu thuật
Các nhà khoa học dữ liệu tại một phòng thí nghiệm y tế đã phát triển và đào tạo các mô hình AI bằng cách sử dụng bộ dữ liệu có sẵn của riêng họ và nhà thiết kế FPGA của VITEC đã giúp tích hợp và triển khai mô hình vào thiết bị xử lý video trên một FPGA đã được sử dụng trong phòng mổ. Các nhà khoa học dữ liệu đã sử dụng luồng phần mềm FPGA AI Suite để chuyển đổi mô hình AI được đào tạo của họ thành IP suy luận AI FPGA và các nhà thiết kế FPGA đã sử dụng các luồng thiết kế FPGA Phần mềm Quartus® Prime tiêu chuẩn để tích hợp và xác thực liền mạch mô hình và triển khai nó trên FPGA 10 Arria®.
Video đã trở thành trung tâm trong phòng mổ, liên tục cung cấp cho các bác sĩ phẫu thuật các chức năng hỗ trợ mới liên quan đến video. Sự gia tăng của các nguồn video và màn hình trong các rạp mổ đã dẫn đến các nền tảng ngày càng mạnh mẽ với nhiều đầu vào / đầu ra hơn. Hỗ trợ tín hiệu video ở định dạng HDR đã cách mạng hóa chất lượng hình ảnh có sẵn cho bác sĩ phẫu thuật trong quá trình phẫu thuật và dẫn đến sự phát triển của các chức năng hỗ trợ thời gian thực mới.
Thách thức: Cộng tác đa chức năng
Một trong những thách thức là tích hợp IP suy luận AI FPGA vào một thiết bị xử lý video đã có sẵn. Thuật toán xử lý video phải chạy song song với IP suy luận AI. Vì vậy, VITEC đã phải triển khai IP suy luận AI cùng với thiết kế hiện tại mà không ảnh hưởng đến chức năng và hiệu suất của cả hai.
Khi IP suy luận AI đã được tích hợp, thiết kế phải được xác thực. Thách thức chính là thiết lập các quy trình bàn giao thích hợp giữa hai nhóm để đảm bảo kết quả chính xác mà nhóm nhà khoa học dữ liệu nhìn thấy tại phòng thí nghiệm y tế phù hợp với những gì nhóm thiết kế FPGA của VITEC đã thấy sau khi tích hợp IP suy luận vào FPGA.
Giải pháp: FPGA AI Suite thu hẹp khoảng cách
FPGA AI Suite cho phép dễ sử dụng và tạo IP suy luận AI bằng nút nhấn cho các thiết bị FPGA Altera.
Nhóm nhà khoa học dữ liệu đã chuyển đổi mô hình AI được đào tạo thành FPGA IP suy luận AI bằng cách sử dụng bộ công cụ mã nguồn mở OpenVINO™ và Bộ AI FPGA. OpenVINO là giao diện người dùng của FPGA AI Suite và giúp chuyển đổi các mô hình AI được phát triển trong bất kỳ khung tiêu chuẩn nào, chẳng hạn như PyTorch, TensorFlow, v.v., thành một biểu diễn trung gian mà FPGA AI Suite sử dụng để chuyển đổi nó thành IP suy luận AI.
VITEC đã giúp tích hợp IP suy luận AI với phần còn lại của thiết kế FPGA bằng cách sử dụng công cụ tích hợp hệ thống Platform Designer, thời gian đóng trong Quartus, sau đó xác thực thiết kế.
Bước 1. Xây dựng và đào tạo mô hình AI của họ với các khung phổ biến.
Bu?c 2. Sử dụng bộ công cụ OpenVINO để tối ưu hóa mô hình và chuyển đổi nó sang định dạng dữ liệu Đại diện Trung gian (IR).
Bước 3. Sử dụng FPGA AI Suite để chạy ước tính sử dụng logic và hiệu suất FPGA nhanh để xem mô hình có đáp ứng các chỉ số mục tiêu hay không.
Bước 4. Nếu bước 3 đáp ứng các chỉ số mục tiêu, hãy sử dụng OpenVINO để chạy mô phỏng phần mềm nhằm kiểm tra độ chính xác của IP do Bộ AI tạo FPGA.
Bước 5. Nếu bước 3 không đáp ứng các chỉ số mục tiêu, hãy sử dụng tính năng tự động tối ưu hóa trong FPGA AI Suite để thay đổi kiến trúc IP FPGA nhằm đạt được mục tiêu hiệu suất và mức sử dụng logic mong muốn. Lặp lại khi cần thiết và tiến hành bước 4.
Lưu ý: Mô phỏng phần mềm hiện chỉ khả dụng cho Agilex 5 và Agilex 3 FPGAs. Độ chính xác của các dòng FPGA Altera khác có thể được xác định bằng cách chạy thiết kế trong phần cứng.
Tham khảo Hình 2, các kỹ sư VITEC đã sử dụng các bước sau để tích hợp IP suy luận AI mới với thiết kế xử lý hình ảnh FPGA hiện có.
Bước 1. Nhận IP FPGA do Bộ AI tạo từ các nhà khoa học dữ liệu phòng thí nghiệm y tế.
Bu?c 2. Sử dụng công cụ Trình thiết kế nền tảng trong Phần mềm Quartus Prime để tích hợp IP suy luận AI với tất cả các khối IP khác và/hoặc logic RTL tùy chỉnh. Sử dụng quy trình điển hình để hoàn thành thiết kế FPGA (tổng hợp, vị trí và tuyến đường, thời gian đóng, kết thúc mô phỏng, phân tích sức mạnh, v.v.) và tạo dòng bit FPGA.
Bước 3. Sử dụng tiện ích lập trình Phần mềm Quartus Prime để lập trình phần cứng dựa trên FPGA với thiết kế dựa trên AI mới để kiểm tra/xác thực thêm.
Thiết bị xử lý video được điều khiển thông qua API mà các chức năng và lệnh điều khiển của IP suy luận AI đã được thêm vào. Các chức năng điều khiển bao gồm khả năng tải mạng, định cấu hình mạng, chạy suy luận trên hình ảnh từ CPU và truy xuất kết quả. Đối với hai ứng dụng, các mạng AI được tải qua API để thực thi thời gian thực.
Thiết bị Arria 10 FPGA mà thiết kế xử lý video được triển khai có đủ tài nguyên chưa sử dụng để các IP suy luận AI phù hợp, giúp thêm IP suy luận AI vào thiết kế FPGA hiện có dễ dàng hơn. Nhóm nhà khoa học dữ liệu đặt các mục tiêu khu vực thích hợp sẽ được IP suy luận AI sử dụng trong công cụ FPGA AI Suite và chạy công cụ tối ưu hóa kiến trúc để có được hiệu suất tốt nhất trước khi chuyển giao cho nhóm FPGA.
Tích hợp IP suy luận AI cũng giống như tích hợp bất kỳ IP nào khác trong Quartus. Khi nhóm FPGA tích hợp IP suy luận AI, bước tiếp theo là xác thực thiết kế. Điều này liên quan đến việc kiểm tra xem IP AI đã được tích hợp đúng cách chưa và chạy các suy luận trên đó. Kế hoạch kiểm thử cũng bao gồm nhiều chu kỳ tải / dỡ tải, khởi tạo / hủy thẻ và hàng chục lần khởi động / tắt hệ thống để đảm bảo hệ thống ổn định và đáng tin cậy.
Các nhà khoa học dữ liệu đã cung cấp hình ảnh thử nghiệm được dán nhãn với IP suy luận AI. Nhóm thiết kế FPGA đã xác thực việc thực thi dữ liệu này. Điều này liên quan đến việc liên tục chạy các suy luận trên các hình ảnh thử nghiệm và kiểm tra xem kết quả có luôn phù hợp với bảng hay không.
Kế hoạch thử nghiệm tích hợp cũng phải đảm bảo rằng việc bổ sung IP suy luận AI không ảnh hưởng đến các hoạt động xử lý hình ảnh hiện có được xác nhận trên thiết kế FPGA hiện tại. Kế hoạch kiểm thử dựa trên các trường hợp sử dụng điển hình.
Kết quả: Triển khai thành công trong phòng mổ
Tính linh hoạt ứng dụng của giải pháp FPGAi cho phép các kỹ sư chế tạo và phát triển các giải pháp AI để luôn dẫn đầu công nghệ bằng cách sử dụng khả năng lập trình lại FPGA, vòng đời sản phẩm kéo dài và các tùy chọn I/O linh hoạt.
VITEC đã tăng cường thành công các thiết bị xử lý video của mình bằng cách bổ sung các tính năng hỗ trợ AI mạnh mẽ. Được tích hợp vào các thiết bị và quy trình làm việc hiện có, các tính năng này hoạt động trực tiếp và cải thiện đáng kể hiệu quả trong quá trình phẫu thuật, tăng thêm giá trị cho các nền tảng dựa trên FPGA hiện có.
IP suy luận AI một nút nhấn duy nhất của FPGA AI Suite kết hợp liền mạch quy trình làm việc phần mềm được sử dụng bởi các nhà khoa học dữ liệu và luồng phần cứng được các kỹ sư FPGA sử dụng vào quy trình làm việc AI đầu cuối chung, cho phép cộng tác hiệu quả giữa họ. Sử dụng Altera® FPGAs và quy trình phần mềm với OpenVINO và FPGA AI Suite giúp chứng minh các thiết kế trong tương lai và nhanh chóng thích ứng với những thay đổi mới.