对模型进行量化

设置模型计算精度:

weight_dtype = torch.float32

model.to(device, dtype=weight_dtype)