Buradasın
DeepSpeed nasıl kullanılır?
Yazeka
Arama sonuçlarına göre oluşturuldu
DeepSpeed kullanmak için aşağıdaki adımlar izlenebilir:
- Kurulum: DeepSpeed'i kurmadan önce PyTorch'un en az 1.9 sürümünün ve CUDA veya ROCm derleyicisinin (nvcc veya hipcc) yüklü olduğundan emin olun 4.
- Entegrasyon:
- DeepSpeed yapılandırma dosyası ile entegrasyon: Özel bir yapılandırma dosyası sağlanabilir veya şablon kullanılabilir 3. Bu yöntem, DeepSpeed'in tüm temel özelliklerini destekler ve kullanıcıya esneklik sağlar 3.
- Deepspeed_plugin ile entegrasyon: DeepSpeed'in bazı özelliklerini destekler ve varsayılan ayarlar için kod değişikliği gerektirmez 3.
- Eğitim ve çıkarım:
- Eğitim: Deepspeed.initialize() fonksiyonu ile dağıtılmış eğitim başlatılır 15.
- Çıkarım: Deepspeed.init_inference() fonksiyonu ile çıkarım işlemi başlatılır 5.
Örnek kullanım:
model_engine, optimizer, _, _ = deepspeed.initialize(args=cmd_args, model=net, model_parameters=net.parameters())
5 kaynaktan alınan bilgiyle göre: