bfloat16 - Định nghĩa số phần cứng

Mô tả

Intel® Deep Learning Boost (Intel® DL Boost) sử dụng định dạng bfloat16 (BF16). Tài liệu này mô tả định dạng dấu phẩy động bfloat16. BF16 có một số lợi thế so với FP16: Nó có thể được xem là một phiên bản ngắn của FP32, bỏ qua 16 bit bọ ngựa ít quan trọng nhất. Không cần hỗ trợ bất thường; FP32, và do đó cũng là BF16, cung cấp quá đủ phạm vi cho các nhiệm vụ đào tạo học sâu. Tích lũy FP32 sau khi nhân là điều cần thiết để đạt được đủ hành vi số ở cấp độ ứng dụng. Xử lý ngoại lệ phần cứng là không cần thiết vì đây là một tối ưu hóa hiệu suất; Ngành công nghiệp đang thiết kế các thuật toán xung quanh việc kiểm tra inf / NaN.