Astor ailesi, Almanya kökenli olup, 1600'lü yıllardan önce Güney İtalya'da bulunan Astorga ailesinin soyundan gelmektedir .
Aile, Almanya'nın kuzey batı bölgesine taşınmış ve daha sonra 19. yüzyıla kadar cadılığa liderlik ettikleri Heidelberg bölgesine yerleşmiştir . 1500'den 1650'ye kadar cadılık, Güneybatı Almanya'da yayılmış, bunun üzerine aile bireylerinin birçoğu İngiltere'ye kaçmıştır .