Йозеф Главка народився 15 лютого 1831 року у чеському місті Пржештице Королівства Богемія (нині Пльзеньський край).
Він був другим сином у сім’ї бургомістра Антонина та Анни Главки, представниці старовинного роду Стахових з Градка. Йозеф з раннього дитинства проявляв інтерес до живопису та архітектурі, тому його батько сприяв синові у здобутті профільної освіти. Він закінчив гімназію у містечках Клатові і Колині та празьке реальне училище.
У 1847 році, за сприяння батька, вступив до Чеського технічного університету в Празі. Упродовж чотирьох років вивчив будівельні та інженерні науки, тому що на той час не існувало такої професії як «архітектура». Після закінчення політехнікуму, у 1851 році вступив до віденської Академії образотворчих мистецтв. У 1854 році за свої навчальні досягнення йому вдалося отримати Державну премію Чехії. Але навчання було досить дорогим, тому Йозефу доводилося під час канікул підробляти на будівництвіучнем каменяра, а згодом – керівником будівництва.
Після закінчення Академії зайняв пост начальника будівельного управління у фірмі чесько-австрійського підприємця Франтишека Шебека. Свій перший самостійний проект Главка виконав на замовлення Шебека. Це був надгробний пам’ятник для його дружини. У 1860 році Йозеф Главка отримав від свого керівника свідоцтво про професійну підготовку, а через деякий час Шебек, виходячи на пенсію, передав йому свою фірму.
Незадовго до цього, у 1855 році, Главка почав співпрацювати з відомим австрійським архітектором бароном Генріхом фон Ферстелем, завдяки якому були зведені храм,палац Ферстеля у Відні тощо. Це було дуже вдале знайомство для подальшої кар’єри Главки. За свою працю та успіхи в навчанні отримав стипендію, так звану «Римську премію», завдяки якій зміг у 1856 році вирушити у трирічну навчальну подорож по Європі та відвідати Італію і Сицилію, Францію, Грецію, Бельгію, Німеччину, Англію.
Після свого повернення у 1860 році, через напружену економічну та політичну ситуації на батьківщині, Главка не мав можливості реалізувати себе як архітектор, але тим не менше, незабаром став дуже талановитим підприємцем.
Чудове виконання Й. Главкою першого замовлення у Відні, будівництво Лазаристенкирхе привернуло до архітектора численну клієнтуру. Фірма Й. Главки виконала у Відні близько 140 замовлень на проведення будівельних робіт, у т. ч. зведення Академічної гімназії, Віденської опери, палацу ерцгерцога Вільгельма, церкви святого Отмара.
У 1866 році Й. Главка стає членом віденської Академії витончених мистецтв та приблизно в той же час міністерство культури доручило йому розробити проєкт Резиденції митрополитів Буковини і Далмації у Чернівцях. У1867 році почалося будівництво Резиденції, яке тривало майже вісімнадцять років. Резиденцію побудували завдяки проєкту Главки та стараннями Євгена Гакмана.
Резиденція являє собою комплекс еклектичних будівель, який поєднує в собі візантійський і романський стилі. Для видобутку будівельного матеріалу, в тому числі мармуру, Главка організував кілька геологічних експедицій по Буковині. Всього було використано близько 70 видів цегли, причому майстрам не дозволялось класти більше 100 цеглин в день – будівництво велося ретельно і копітко.
Резиденція – воістину масштабна і вражає своєю пишністю архітектурний пам’ятник. Сьогодні на її території знаходиться Чернівецький національний університет імені Юрія Федьковича, а в 2011 році була включена в список Всесвітньої спадщини ЮНЕСКО.
У 1869 році у Йозефа Главки паралізувало обидві ноги. Причиною тому послужила його робота, яка постійно вимагала велику напругу і виснажливі переїзди з Праги до Відня і Чернівців. На додачу до всього, Главка почав втрачати зір, і таким чином, у віці 38 років, він залишився в інвалідному кріслі. На щастя, лікування, яке він проходив у санаторіях Ментони (Франція) і Карлових Варах, було дуже інтенсивним і сприяло поступовому одужанню архітектора. До 1880 року він практично повністю відновив своє здоров’я і повернувся до роботи.
На цей час припав розпал суспільної діяльності Главки. У 1883 році він став депутатом австрійського Рейхсрату, через три роки його обрали у чеському місцевому парламенті, де він виступав за рівноправність чехів в Австро-Угорщині. В цей же час Главка активно займався меценатською діяльністю: фінансово підтримував поетів Ярослава Врхлицького, Юліуса Зейєра, композитора Антонина Дворжака та інших діячів культури. Одне з найзначніших досягнень в житті Главки – це створення Академії наук Чеської республіки, куди він вклав величезну суму грошей.
Оскільки у Йозефа Главки, двічі овдовілого, не було дітей, у 1904 році він прийняв рішення про створення фонду Nadání Josefa, Marie a Zdenky Hlávkových або просто званий Hlávkova nadace, названий на честь нього та його дружин («Фонд Йозефа, Марії та Зденки Главок»),який функціонує і в наші часи. Даний фонд спільно з Чеським літературним фондом щорічно присуджує літературну премію імені Йозефа Главки.
Помер Йозеф Главка 11 березня 1908 року в родовому маєтку Лужани під Прагою. Його ім’ям названі вулиці, організації, премії і навіть астероїд. В Чернівцях, у парку Резиденції Буковинських митрополитів, Йозефу Главці встановлено пам’ятник. Але головну пам’ять про нього збережуть створені ним шедеври, величні і прекрасні.