Kadifekale'nin hikayesi, antik Yunan kenti Smyrna'nın tarihi ile yakından ilişkilidir. Efsaneye göre, Büyük İskender, Smyrna akropolünün yeri olarak Pagos Dağı'ndaki bu yeri seçmiştir. Tarih boyunca kale, birçok medeniyetin egemenliğine tanık olmuştur: Roma İmparatorluğu, Bizans İmparatorluğu, Çaka Beyliği, Aydınoğulları Beyliği ve Osmanlı İmparatorluğu. 1402 yılında Moğol savaş ağası Timur, Yukarı Kale ve Liman Kalesi'ni birleştirerek Smyrna'nın Hristiyan bölümünü fethetmiştir. Günümüzde Kadifekale, İzmir'in en önemli turistik mekanlarından biri olup, 2020 yılında UNESCO tarafından "İzmir Tarihî Liman Kenti" adıyla oluşturulan miras alanının bir parçası olarak Dünya Mirası Geçici Listesi'ne dahil edilmiştir.