Minulost Kašperských Hor je především spjata s objevením zlatého kovu. Již Keltům byla zřejmě známá zlatonosná oblast v okolí Otavy, Losenice a Zlatého potoka. Ti však zlato spíše rýžovali z písčitých náplavů, než aby je těžili přímo z horniny.
Vznik současného osídlení bývá kladen na přelom 13.–14. století. Nejstarší písemná zmínka o sídle je uvedena v zástavní listině krále Jana Lucemburského z 10. 7. 1338 hovořící o Kašperských Horách jako jedné z nejvýznamnějších lokalit dolování zlata v Čechách.
Vrcholný rozkvět obec zažívala v průběhu 14. století, neboť zdejší zlatonosný revír poskytoval panovníkovi značné množství zlata, které významně přispělo k posílení moci českých panovníků. Za panování Jana Lucemburského byly Kašperské Hory v roce 1345 povýšeny na horní město a získaly městskou pečeť a znak. Ve stejné době byli kašperskohorští privilegiem krále Jana osvobozeni od cel a poplatků jako projev díků za vojenskou pomoc při tažení proti městu Landshut ve Slezsku, kterého se účastnilo údajně 600 místních horníků.
Zvláštní pozornost městu věnoval též císař Karel IV. nejen výstavbou významného strážního hradu Kašperk v letech 1356–1361, ale také vybudováním důležité obchodní cesty kašperskohorské větve Zlaté stezky, která vedla z Pasova a končila právě v Kašperských Horách. Na pokyn českého krále a římského císaře byl rovněž připraven návrh zemského zákoníku Majesta Carolina, který vyjadřuje, mimo jiné, první snahu o hospodaření v českých lesích.
Současné Kašperské Hory a nedaleký Rejštejn tvořily původně jednu obec pod názvem Reichenstein, později Bergreichenstein neboli Bohatý kámen. Pevná vazba mezi oběma osadami skončila pravděpodobně už v 2. polovině 14. století. Roku 1584 císař Rudolf II. povýšil Kašperské Hory na královské horní město a ve stejném roce došlo k zániku právního spojení Kašperských Hor a Rejštejna. Obě města si i po právním odtržení ponechala statut královského horního města.
Od konce 16. století těžba zlata upadá. V průběhu 2. poloviny 18. století se v báňské činnosti pokračuje již jen v několika štolách. Definitivní ukončení všech prací spadá do r. 1777. Upadající těžba byla postupně nahrazována rozvojem sklářství, lesnictví, zpracování dřeva, obchodem a chovem dobytka.
V polovině 19. století se lokalita stala sídlem okresního soudu a v rámci dřevozpracovatelského průmyslu byla založena moderní továrna na výrobu zápalek. V roce 1930 žilo ve městě 2289 obyvatel z toho 186 Čechů. V říjnu 1938 byly Kašperské Hory na základě Mnichovské dohody připojeny k Velkoněmecké říši. Do českých rukou se město vrátilo po osvobození americkou armádou na počátku května 1945. Do roku 1946 probíhal odsun německého obyvatelstva, jejichž místa poté zaujali lidé z celého Československa.
Dnes vděčí Kašperské Hory za svůj rozkvět především rozvoji cestovního ruchu a lesnictví. V současnosti jsou Kašperské Hory třetím městem v České republice co se velikosti obecního lesního majetku týče, hned za městy Brno a Písek.
Kašperské Hory jsou mimo jiné dějištěm románů a povídek významného šumavského autora Karla Klostermanna (1848–1923). Spisovatelův otec zde působil jako lékař a několik let byl i starostou.