はじめに transformerとtext_encoderをSDNQ(SD.Next Quantization)で4bit量子化しました。 torchao、bitsandbytesでもやってみましたが、4bit量子化は実行できても実際にモデルを実行する時にgroup_offloadingのところで躓いてうまくできませんでした。 環境…