Mnoho legend a pověstí o zázracích místa pod Kostelním vrchem (ať to bylo zázračné zachránění dívčin sbírajících lesní plody, či uzdravení nemocného sedláka místní pramenitou vodou) dalo za příčinu vystavět v roce 1820, v kopci nad Srním, malou kapličku zasvěcenou Panně Marii Lurdské. Místu, jež popsal v povídce Červené srdce spisovatel Karel Klostermann se již tou dobou říkalo Šumavské Lurdy. V roce 1860, kdy malá kaple již prostorově nevyhovovala, rozhodla obec Srní o výstavbě kaple větší. Po sedmi letech, přestože byla nová kaple uzavřena kvůli obavě před zřícením, sem nadále přicházeli poutníci a kladli svíce, růžence, svaté obrázky do obou svatyní.
V roce 1901 započala výstavba třetí kaple, která byla vysvěcena v srpnu 1902.
Poutě u Hauswaldských kaplí počaly ustávat za II. světové války, a následně po válce, po zřízení hraničního prostoru od plavebního kanálu směrem ku hranici, byly trvale zrušeny. Nakonec byla v roce 1958 kaple odstřelena příslušníky lidové armády, aby nebylo žádné připomínky tohoto slavného poutního místa.
Velké obnovení tohoto příjemného místa, kdy byly restaurovány základy původních kaplí a voda z pověstmi opředené studánky byla přivedena koryty až k poutnímu místu, proběhlo v roce 2006.
I v dnešní uspěchané době je zdejší místo vyhledáváno pocestnými pro svoji osobitost a krásu.