На Олимпийские играх 2004 года в Афинах, Алексей приехал в ранге явного фаворита и лидера сборной России, однако полученная перед Олимпиадой травма давала о себе знать, но, несмотря на это, спортсмен показал высокий класс и вступил довольно уверенно. Однако выступление спортсмена было омрачено судейским скандалом, после выступления на перекладине, оценки Алексея были явно занижены, что не понравилось присутствующим на трибунах олимпийской арены зрителям, которые в течение 15 минут, непрекращающимися овациями поддерживали спортсмена, не давая выйти на помост следующим гимнастам. Под давлением судьи пересмотрели оценки, но даже после пересмотра их не хватило для получения медали. После этого случая на Олимпиаде разразился скандал, и некоторые судьи были отстранены от судейства, а спортсмену было принесено официальное извинение. В рядах российской сборной бытует мнение, что данный инцидент произошёл из-за нежелания некоторых влиятельных спортивных функционеров дать Алексею возможность войти в историю, как спортсмену, завоевавшему награды на 3-х Олимпиадах подряд, однако доказательств данного факта нет.