Klub pod imenom Olimpija prvi se put spominje 20. ožujka 1921. u Hrvatskom listu, u izvješću utakmice u kojoj je Olimpija pobijedila Unitas rezultatom 1:0. Ostalo je zabilježeno da je klub 1921. i 1922. odigrao tek nekoliko prijateljskih utakmica, pa se pretpostavlja da je ubrzo prestao postojati. No, i iz tog kratkotrajnog djelovanja rodila se zamisao osnivanja novog kluba, pa je 7. rujna 1923. održana osnivačka skupština športskog društva, na kojoj je za prvog predsjednika odabran prvi izvršni odbor kojeg su činili: predsjednik Ervin Roscher, potpredsjednik Bogdan Sudić, tajnik Dragutin Pavetić, blagajnik Herman Verir te Jakob Blau, Franjo Gruis, Ignjo Langfelfder, Oton Svjetlošek i Stjepan Svjetlošek kao odbornici. Bilo je predviđeno da se novoosnovano društvo zove Omladinac, ali represivni organi Kraljevine SHS nisu dopustili takvo ime, pa je odlučeno da će se društvo zvati Olimpija, s obzirom na to da su već prije zabrane imena izdane značke sa slovima ŠDO (Športsko društvo Omladinac) u svrhu brze popularizacije nesuđenog Omladinca.