Jolsvát a 13. században bányásztelepülésként alapították. 1243-ban „Ilswa” néven említik először, de első favára már a tatárjárás előtt állt. A települést az itteni vas és ólombányák művelésére idetelepített német bányászok alapították. Az 1440-es években a husziták, 1556-ban a törökök foglalták el. Először a 13. század elején épült itt vár, amely elpusztult, helyette a régi közelében 1327 után építettek várat a Jolsvaiak. Az 1440-es években elfoglalták a husziták, ezután nem sokkal elpusztult, mert 1453-ban már nem szerepel, azóta rom. A település 1551-ben vásártartási jogot kapott. 1557-ben I. Ferdinánd király az árvízi pusztítás miatt három évre felmentette az adófizetés alól. 1659-ben III. Károly királytól adómentességet és kiváltságokat kapott. A város főterét egykor fal vette körül. A 18. századtól egymás után alakultak a város céhei, melyekben 42 kézművesmester tömörült. A 19. századtól a városban jelentős magnezitipar fejlődött ki. Magnezitgyára 1921-ben épült fel, a termelés 1923-ban indult.