Ali Aydın'ın hakemliği, 2004 yılında Galatasaray ile Beşiktaş arasında oynanan derbi maçta verdiği kararlar nedeniyle yoğun biçimde eleştirilmesi ve bir hakemin, bir sezon içinde iki kez hem Futbol Federasyonu'nu, hem MHK'yı zor durumda bırakmaya hakkının olmadığını düşünmesi nedeniyle sona ermiştir. Ali Aydın, bu kararını Futbol Federasyonu Başkanı Haluk Ulusoy ve MHK Başkanı Bülent Yavuz ile yaptığı görüşmenin ardından açıklamış ve 7 Nisan 2004 tarihinde bir basın toplantısıyla hakemliği bıraktığını duyurmuştur.