Založení kostela pravděpodobně inspirovali mniši, kteří podle pověsti sídlili na Černém vrchu. Snad to byli misionáři, kteří přišli z jihozápadu šířit křesťanství na území osídlené Slovany. Když pak měli přesídlit do nově založeného kláštera na Pivoni, dali v místech dnešního kostela vykopat základy pro svatyni, sloužící zdejšímu kraji. Podle pověsti byl při kopání jeho základů nalezen železný kříž. Mniši jej dali poslat papeži a do věže kostela zazdili kříž kamenný, který stával u jejich poustevny.
Kostel snad existoval již ve 12. století, podle dalších zpráv v gotické podobě pochází z 2. poloviny 14. století. V zakládajících knihách se objevuje Svatý Kříž jako sídlo faráře již v roce 1350. Gotický presbytář (kněžiště) byl přistavěn v roce 1630 a má křížovou klenbu uzavřenou na jehlanových konzolách. Gotická okna byla původně barevná v olovu, ale vlivem blízkého lomu a vandalů byla zničena.
V roce 1661 byla před bohatě profilovaný gotický pískovcový portál postavena předsíň, aby chránila tuto památku před nepřízní počasí. Loď kostela byla upravena po požáru kostela v 18. století. V roce 1818 byla přistavěna věž.
Na věži kostela je kříž a kohout – snad jako památka na dobu v letech 1562 až 1629, kdy v tomto kostele působili protestantští kněží. Další opravy byly provedeny v letech 1986-88 a 1991-95. 17. září 2000 byl posvěcen nový zvon „Jan Nepomucký“.
