Die Geschichte der Stadt Kašperské Hory ist hauptsächlich mit dem Gold verbunden. Schon die Kelten haben entdeckt, dass in der Umgebung von Otava, der Losnitz und dem Zlatý potok (Goldbach) Gold zu finden ist und sie haben es durch Auswaschen gewonnen.
Die Besiedlung fing schon im 13.-14. Jahrhundert an. Die erste Erwähnung erfolgte in einem Dokument des Königs Johann von Luxemburg vom 10. 7. 1338, wo er Kašperské Hory als das bedeutendste Goldminenrevier in Tschechien bezeichnet.
Ihre Blüte erreichte die Stadt im Laufe des 14. Jahrhunderts, denn durch den Gewinn aus den Goldminen stieg die Macht der tschechischen Herrschaft. Während der Regierung des Königs Jan Lucemburský (Johann von Luxemburg) wurde 1345 Kašperské Hory zur Bergstadt erhoben und wurde mit einen eigenen Wappen und Siegel ausgestattet. Gleichzeitig wurden die Bergreichensteiner von Zoll und Gebühren befreit, als Dankeschön für die Beihilfe der 600 Goldbergleute im Feldzug gegen die Stadt Landshut in Schlesien.
Kaiser Karl IV. ließ 1356–1361 durch den Ort den Handelsweg Zlatá stezka (Goldener Steig) nach Passau anlegen. Daneben ließ er zum Schutz der Gegend die Burg Kašperk (Karlsberg) erbauen. Sein Landescodex “Majestas Carolina” zeigt eine Tendenz zur Forstwirtschaft in den tschechischen Wäldern.
Die Städte Kašperské Hory (Bergreichenstein) und Rejštejn (Unterreichenstein) bildeten ursprünglich die gemeinsame Stadt Reichenstein, später trennten sie sich in Bergreichenstein und Unterreichenstein auf und wurden selbständige Bergstädte. Der ursprüngliche Name der Gemeinde, nämlich Reichenstein, geht auf den Begriff “am reichen Stein” zurück. Die feste Verbindung zwischen den Städten endete wahrscheinlich schon in der 2. Hälfte des 14. Jahrhunderts. 1584 wurde die Stadt Bergreichenstein vom Kaiser Rudolf II. zur Königsstadt erhoben (wie auch Unterreichenstein) und die Trennung war endgültig. Nach der rechtlichen Trennung besaßen beide Städte den Status einer Königsstad.
Ab Ende des 16. Jahrhunderts ging die Goldförderung zurück und mit der allmählichen Erschöpfung der Goldlager verlor Kašperské Hory als Bergmannszentrum an Bedeutung. Im Laufe der 2. Hälfte des 18. Jahrhunderts wurden in der Umgebung der Stadt nur noch kleine Goldminen betrieben und 1777 kam das definitive Aus. Die Goldförderung wurde nach und nach durch Glasherstellung, Forstwirtschaft, Holzverarbeitung, Viehzucht und Handel ersetzt.
Im 19. Jahrhundert wurde Bergreichenstein Sitz eines Amtsgerichtes und es wurde hier auch eine moderne Zündholzfabrik gegründet. 1930 wohnten in Bergreichenstein 2289 Menschen, nur 186 davon waren Tschechen. Im Oktober 1938 wurde Bergreichenstein aufgrund des Münchner Abkommens an das Deutsche Reich angeschlossen.
Anfang Mai 1945 wurde die Stadt durch die US-Armee befreit. Die Vertreibung und Aussiedlung der deutschen Bevölkerung dauerte bis 1946. Nach der Aussiedlung wurden die leeren Häuser durch Neusiedler aus der ganzen Tschechoslowakei belegt.
Heute blüht die Stadt Kašperské Hory hauptsächlich dank des Tourismus und der Forstwirtschaft. Die Stadt besitzt den drittgrößten Forstbetrieb in ganz Tschechien, größere gibt es nur in Brno (Brünn) und Písek. In Kašperské Hory spielen sich mehrere Erzählungen und Romane des berühmten Böhmerwald-Autors Karel Klostermann (1848-1923) ab. Klostermanns Vater wirkte hier als Arzt und war einige Jahre auch Bürgermeister.