Az elemi és a polgári iskola elvégzése után kezdetben autógumi-javító volt, majd később villanyhegesztőnek tanult. Iskoláinak elvégzése Csepelen kezdett el dolgozni. Emellett 1933-ban kezdte el a labdarúgást az MTK-ban, majd 1941-ben leigazolta a Budapesti Vasas, ahol visszavonulásáig futballozott. 270 élvonalbeli mérkőzésen szerepelt, ahol 87 gólt lőtt. 1945-ben játszott először a magyar labdarúgó-válogatottban, pályafutása során bár többször volt kerettag, összesen csak három alkalommal szerepelt a válogatottban. Stílusát a balszélsőkre jellemző gyorsaság fémjelezte, de a kor nagy labdarúgói mellett nem fért már a magyar labdarúgó-válogatottba. 1956-ban vonult vissza az aktív pályafutástól.

MTK, 1939-1941

...

Vasas SC, 1941-1956

...

Már játékosként is elvállalta a Vasas serdülő és utánpótlás csapatainak edzését, szakedzői oklevelet 1957-ben szerzett. 1957-ben lett először a Budapesti Vasas vezetőedzője, amikor elődjét, Baróti Lajost kinevezték szövetségi kapitánnyá. Illovszky vezetésével a csapat történetének legsikeresebb időszakát élte át. 1961-ben szerezte meg a csapat második bajnoki címét, melyet 1962-ben sikerült a Vasasnak megvédenie.

1963-ban korábbi edzője, Baróti Lajos akkori szövetségi kapitány magához hívta a magyar labdarúgó-válogatotthoz pályaedzőnek, emiatt elhagyta a Vasast, de 1965-ben rövid időre újra a csapat vezetőedzője volt és megszerezte újabb bajnokságát. 1966-ban kinevezték a magyar válogatott szövetségi kapitányává, de egy év után lemondott és ismét átvette a Vasas irányítását. 1970-ben került először külföldre. Görögországban, a Pierikos csapatánál edzősködött. 1971-ben újra kinevezték szövetségi kapitánnyá. 1972-ben az 1972. évi nyári olimpiai játékok labdarúgó-tornáján a válogatottal ezüstérmet szerzett. Ugyanebben az évben az Európa-bajnokságon negyedik helyen végzett a válogatott. 1974-ben tért vissza a régi csapatához, a Vasashoz, mellyel 1977-ben megszerezte negyedik bajnoki címét. Ezután Ausztriában, az Admira Wacker csapatának edzője volt.

1983-ban a Vasas utánpótlás szakágának igazgatója lett, majd 1984-től az első csapat edzője volt 1986-ig. Ebben az időszakban nyerte meg a csapat a Magyar Népköztársaság Kupát. Ezután nyugdíjba vonult, de 1995-ben, hetvenhárom éves korában újra leült a Vasas kispadjára és megmentette a csapatot a kieséstől. Utána a csapat szakmai igazgatója és elnökségi tagja lett.

Edzői stílusára a feltétlen odaadás a labdarúgás és a csapat iránt, a szakmai és taktikai precizitás volt a jellemző. Tiszteletére az ő nevét vette fel a Vasas Fáy utcai stadionja.

2007-ben és 2008-ban többször kórházba kellett szállítani szívproblémák miatt. Ettől függetlenül gyakori vendég volt a Vasas hazai mérkőzésein. 2008. szeptember 23-án hajnalban a Szent Imre Kórház intenzív osztályán hunyt el tüdőgyulladásban, 86 évesen.