Après les élections de juin 1986, il devient ministre du Travail et de la Sécurité sociale. Cette promotion le conduit à sortir des organes dirigeants du parti et du syndicat. En décembre 1988, il est contraint de retirer son projet de plan pour l'emploi des jeunes après la grève générale convoquée par les deux principales centrales syndicales espagnoles. Il est reconduit à ce poste en décembre 1989.
En avril 1990, il est désigné candidat socialiste aux élections régionales en Andalousie, fief socialiste depuis la fin du franquisme. Vainqueur du scrutin, il est investi président de la Junte et accomplit un mandat de 18 ans et huit mois. Avec José Bono et Juan Carlos Rodríguez Ibarra, il est présenté comme l'un des « barons » du socialisme espagnol. À partir de 1994, il cumule cette fonction avec celle de secrétaire général du PSOE andalou.
Il est choisi en mars 2000 pour prendre la présidence de la direction provisoire du parti, formée après la démission du secrétaire général Joaquín Almunia. Au cours du XXXVe congrès fédéral, il est élu au poste honorifique de président du PSOE sur proposition de José Luis Rodríguez Zapatero, successeur d'Almunia.
Il est rappelé au gouvernement espagnol en avril 2009 par Zapatero, qui le nomme troisième vice-président du gouvernement, un poste vacant depuis 31 ans, et ministre de la Politique territoriale. Ses compétences sont élargies à la fonction publique l'année suivante. Il cède en mars 2010 la direction andalouse du PSOE à son successeur à la Junte José Antonio Griñán, ce qui occasionne leur rupture amicale.
