Był rok 1966. Komunistyczne władze, w kontrze do kościelnych uroczystości Milenium Chrztu Polski, hucznie obchodziły Tysiąclecie Państwa Polskiego. Jedną z inicjatyw miało być wybudowanie „Pomnika Bohaterów Kielecczyzny” na Wzgórzu Karscha.  W piśmie Rady Narodowej w Kielcach z 8 sierpnia 1966 roku czytamy, że teren jest „jedynym, najbardziej odpowiednich dla zlokalizowania monumentu”.

Poniżej projekt pomnika (ze zbiorów ŚWKZ):

Problemem był znajdujący się na wzgórzu dworek wpisany do rejestru zabytków. Nie można go było wyburzyć, więc w pierwszej kolejności starano się o jego wykreślenie z rządowej listy. „Zachodzi konieczność usunięcia wszystkich obiektów, które w stanie obecnym znajdują się na tym terenie” – pisali przedstawiciele władz miasta.

Włodarze uzasadniali swoją prośbę skierowaną do Ministerstwa Kultury i Sztuki brakiem środków na utrzymanie zabytkowego dworu. Mówili o „szukaniu rozwiązania dla zabezpieczenia i uratowania obiektu zabytkowego przy ul. Zamkowej 5, który pochodzi z tego samego czasu, jednak wartościami artystycznymi i historycznymi o wiele przewyższa obiekt wnioskowany do rozbiórki. Dlatego też Prezydium nie jest w stanie ponosić równocześnie obowiązków i ciężarów wypływających z tytułu zagospodarowania społecznego obydwóch obiektów”. W dalszej części pisma Prezydium prosi wyburzenie dworku. Według pomysłu, samo Wzgórze Karscha miało być także powiązane z kieleckim parkiem.

Na to nie zgodził się jednak Wojewódzki Konserwator Zabytków. Bronił jednak nie tylko dworku, ale również zabytkowego ogrodzenia przy ul. Ogrodowej i starodrzewia „co stanowiłoby niepowetowaną stratę dla rozplanowania zieleni”.

Swój sprzeciw wyrazili również członkowie PTTK w Kielcach. Ich zdaniem dworek „jest związany z historią miasta i historią kultury. Sądzimy, że budowa nowego obiektu kultury nie powinna likwidować dawnego zabytku kultury” – pisali w liście do Prezydium Miasta.

Choć formalną ochronę prawną Dworku Karscha ostatecznie zniesiono, to zaniechano rozbiórki budynku i realizacji w tym miejscu Pomnika Bohaterów Kielecczyzny. Dlaczego? Dokumenty nie mówią nic o przyczynach, jednak możemy przypuszczać, że nie bez znaczenia była presja społeczna.