• Buradasın

    Vllm hangi CUDA ile uyumlu?

    Yazeka

    Arama sonuçlarına göre oluşturuldu

    vLLM, CUDA 11.8 ve CUDA 12.1 sürümleriyle uyumludur 23.
    vLLM'nin binerleri varsayılan olarak CUDA 12.1 ile önceden derlenmiş olarak gelir 23. Ancak ihtiyaç duyulduğunda CUDA 11.8 ile derlenmiş sürümleri de kurulabilir 23.
    vLLM, en son CUDA 12.4 sürümüyle de uyumludur 1.
    vLLM'nin hangi CUDA sürümüyle uyumlu olması gerektiği, kullanılan donanım ve yazılım sürümlerine bağlıdır. Örneğin, vLLM'nin çalışabilmesi için NVIDIA GPU'sunun Compute Capability ≥ 7.0 olması gerekir 1.
    Daha fazla bilgi için vLLM'nin resmi belgelerine veya GitHub sayfasına başvurulabilir.
    5 kaynaktan alınan bilgiyle göre:

      Yanıtı değerlendir

      5 kaynak

      1. onedollarvps.com
        1
      2. centlinux.com
        2
      3. nm-vllm.readthedocs.io
        3
      4. ploomber.io
        4
      5. docs.vllm.ai
        5