Ferhat Paşa, farklı dönemlerde iki farklı nedenden dolayı sürgün edilmiştir: 1. I. Selim döneminde: Suriye'ye düzenlenen seferin serdarı olarak atandıktan sonra, Canberdi Gazâlî'nin isyanını bastırmadaki yöntemleri nedeniyle şikayetlere yol açmış ve bu nedenle görevinden alınarak Semendire'ye sancakbeyi olarak gönderilmiştir. 2. I. Süleyman döneminde: Pargalı İbrahim Paşa'nın sadrazamlık görevine yükselmesi ve Ferhat Paşa'nın İbrahim Paşa'ya karşı olması nedeniyle sürgün edilmiştir.