Ve vztahu k ostatním československým krajům sousedil Jihomoravský kraj na západě s Jihočeským krajem, na severozápadě s Východočeským krajem, na severovýchodě se Severomoravským krajem, na východě krátce se Středoslovenským krajem a na jihovýchodě se Západoslovenským krajem. Na jihozápadě hraničil s rakouskou spolkovou zemí Dolní Rakousko.
Hranice vůči Jihočeskému a Východočeskému kraji zhruba kopírovala starou česko-moravskou zemskou hranici, ale místy s významnými odlišnostmi. Moravské Dačicko zůstalo mimo Jihomoravský kraj, naopak v oblasti Jihlavy nebo Žďáru nad Sázavou byla hranice Jihomoravského kraje posunuta do Čech. Důvodem byla primární snaha o účelné správní rozdělení bez ohledu na staletí trvající historickou hranici. Hranice se Severomoravským krajem byla určena zcela uměle a naprosto přehlížela přirozenou oblast střední Moravy se střediskem v Olomouci.
Jihomoravský kraj byl v rámci Československa spíše níže položeným a patřil k obilnicím státu. Značnou část Jihomoravského kraje vyplňovaly úrodné úvaly Dyjsko-svratecký a Dolnomoravský a částečně Hornomoravský úval. Severozápadní část kraje pokrývala Českomoravská vrchovina, resp. Moravskočeská vrchovina, severní částí kraje se táhl Moravský kras. Od jihu na východ vedlo pásmo Vnějších Západních Karpat (Pavlovské vrchy, Ždánický les, Chřiby). Hranici se Slovenskem definovala řeka Morava a Bílé Karpaty – na hranici se Slovenskem se nacházely nejnižší a nejvyšší bod kraje: soutok Dyje a Moravy 148 m, Velká Javořina 970 m n.m.
Z hydrologického hlediska patřil Jihomoravský kraj téměř celý do povodí řeky Moravy, která protékala východní částí kraje. Většinu kraje pak přímo odvodňovala Dyje s přítoky Svratkou, Jihlavou, Jevišovkou, Kyjovkou a dalšími. Východní část Jihomoravského kraje náležela prostřednictvím Vláry do povodí Váhu. Severozápadní pomezí kraje (Žďársko) odvodňovala Sázava. Byla to jediná část kraje nacházející se v úmoří Severního moře. Vše ostatní patřilo do úmoří Černého moře.
Přirozeným střediskem a zdaleka největším městem Jihomoravského kraje bylo město Brno, ležící zhruba uprostřed území. Dalšími středisky pak byla na západním konci kraje město Jihlava a na východním konci kraje město Gottwaldov (takto pojmenováno v letech 1949 až 1989, dnes Zlín), dále na jihozápadě kraje město Znojmo a na severovýchodě kraje město Prostějov.