Zatímco západ a severozápad kraje pokrývají výběžky Českomoravské vrchoviny, např. Drahanská vrchovina s Moravským krasem, do východní části už zasahují ze Slovenska Karpaty. Ty jsou od západních vrchovin odděleny Dolnomoravským úvalem. O své nejvyšší pohoří, Bílé Karpaty, se kraj dělí se Zlínským krajem i se Slovenskem. Trojmezí těchto územních celků je s výškou 836 m n. m. nejvýše položeným bodem kraje. Místo se nachází nedaleko vrcholu Durda (842 m) ležícího na Slovensku, přibližně 2 km západně od nejvyššího vrcholu geomorfologického celku, jímž je Velká Javořina / Veľká Javorina (970 m). Nejvyšším vrcholem kraje je Čupec (819 m), ležící taktéž u hranice se Slovenskem, přibližně 2 km jihozápadně od Durdy.
Celý kraj náleží k úmoří Černého moře a k povodí Dunaje, do kterého vody z kraje odvádí řeka Morava. V nížině u česko‑slovensko‑rakouského trojmezí se k ní přidávají i další důležité řeky regionu: Dyje, Svratka a její přítok Svitava.
Na území Jihomoravského kraje se nachází Národní park Podyjí a dále tři chráněné krajinné oblasti: Bílé Karpaty (částečně leží na území Zlínského kraje), Moravský kras a Pálava.