Quartogenito e primo figlio maschio di Maria Teresa d'Asburgo e di Francesco I di Lorena, Giuseppe nacque a Vienna il 13 marzo 1741. Ricevette un'educazione molto accurata nella corte viennese. "Re dei Romani nel 1764, all'improvvisa morte del padre, il 18 agosto 1765, assunse la carica di coreggente dei domini imperiali degli Asburgo, a fianco della madre; quello stesso anno venne infine eletto Imperatore con il nome di Giuseppe II. Nei quindici anni di coreggenza soffrì della scarsa libertà di azione concessagli dalla madre, preoccupata per le sue idee considerate rivoluzionarie e quasi eretiche e per il suo carattere autoritario.
Nel 1780, morta la madre, Giuseppe II poté regnare da solo. Morì il 20 febbraio 1790.
Le riforme a cui Giuseppe II legò maggiormente il suo nome furono quelle svolte in campo ecclesiastico. L'Imperatore intendeva rivendicare allo Stato il controllo del clero, sottraendolo al papa e ai suoi rappresentanti, i nunzi apostolici. Soppresse i conventi e molti ordini religiosi che non avevano attività d'insegnamento o di assistenza ospedaliera, come i cappuccini, i camaldolesi, i certosini, le clarisse, le carmelitane. Dei 915 monasteri presenti in Austria, Boemia, Moravia e Galizia, ne furono chiusi 388. Nello stesso tempo l'Imperatore promosse la creazione di seminari e di collegi statali per istruire il clero.
Il rimpianto per il precedente governo teresiano si estese dalla nobiltà al popolo che male accettava le riforme di Giuseppe II, soprattutto per le nuove disposizioni di polizia che alimentarono nel vasto Impero un forte risentimento antiaustriaco, che sarà alla base dei moti rivoluzionari dell'Ottocento.
Alla sua morte il suo regno passò al fratello Leopoldo, poiché dai suoi due matrimoni non aveva avuto eredi, ad eccezione della figlia Maria Teresa, morta bambina.