Milwaukee Sanat Müzesi, şehre sanatsal ve kültürel bir merkez kazandırmak amacıyla yapılmıştır. Müzenin temelleri, 1888 yılında işadamı Frederick Layton'un ilk kalıcı sanat galerisini kurmasıyla atılmıştır. Müzenin bugünkü haline gelmesinde, 1975 yılında David Kahler tarafından yapılan ek bina ve 2001 yılında mimar Santiago Calatrava tarafından tasarlanan Quadracci Pavilion gibi önemli genişletmeler de etkili olmuştur.