Původně zde stávala tvrz připomínaná k roku 1380, která byla později v majetku pánů z Nalžov. V roce 1591 Nalžovy získal staroslavný rod Švihovských. Karel Švihovský panství koupil za 80 000 bílých grošů. Jeho syn Bedřich se na počátku českého stavovského povstání v roce 1618 stal členem direktoria, řídícího orgánu povstání, avšak po bitvě na Bílé hoře v roce 1620 vzhledem ke své opatrnické politice nebyl vítěznými Habsburky výrazněji potrestán. Patrně proto, že Nalžovská tvrz byla v té době poškozena uherským vojskem, postavil Bedřich v její blízkosti nové panské sídlo – renesanční zámek, který se poprvé připomíná v roce 1630. Stará tvrz byla upravena na byty pro služebnictvo na zámku.
Zámek Nalžovy je obklopen anglickým parkem z počátku 17. století s empírovými i novohistorickými romantizujícími úpravami z doby kolem roku 1840.
Zámek i anglický park je v současnosti v soukromém vlastnictví a není veřejnosti běžně přístupný.