Na místě zámecké budovy, ve které je v současné době výchovný ústav mládeže, stávala tvrz majitele panství. Je zaznamenána celá řada majitelů tak, jak se na tvrzi i panství střídali. V polovině XVI. století páni Zahrádečtí dali přestavět tvrz na zámek. Přesto, že o zámeckém parku nemáme písemných zpráv, lze předpokládat, že i v této době byl park založen. V době baroka přibyla pozdně renesanční budově baňatá vížka, byly nově upraveny vjezdy a provedeny další stavební úpravy. O ukončení těchto stavebních prací svědčí letopočet nad hlavním vchodem na nádvoří: 1779. Ani v záznamu o těchto opravách a úpravách není zmínka o zámeckém parku.
Můžeme však usuzovat, že i park doznal určitých změn. Důkazem jsou nám barokní sochy instalované u budovy i jinde v areálu parku. V roce 1793 koupil zámek i panství Rudolf lord a hrabě Taff za 254.150 zlatých. K panství v té době patřilo: 273,53 ha polí, 1,03 ha luk, 13,09 ha zahrad, 19,30 ha pastvin, 312,6 ha lesů, 1,74 ha stavební plochy, 3,74 ha plochy neplodné, 4,78 ha plochy daně prosté. Výměra parku se uvádí v rozloze 10,5 ha. Dá se předpokládat, že právě Taffové nechali upravit.park podle anglického slohu a že park rozšířili na dnešní výměru. V roce 1831 Taffové budovu opět opravili a v roce 1836 prodali za 375.000 zlatých. Hrabě Kašpar Filip Spiegel-Diesenberg koupil višňovský zámek za výše uvedenou sumu v roce 1836, za tři roky jej daroval svému synu Ferdinandovi, aby se posléze stal majitelem hrabě Maria Ferdinand Spiegel-Diesenberg.
Panství v té době patřilo: 273,53 ha polí, 1,03 ha luk, 13,09 ha zahrad, 19,30 ha pastvin, 312,6 ha lesů, 1,74 ha stavební plochy, 3,74 ha plochy neplodné, 4,78 ha plochy daně prosté. Výměra parku se uvádí v rozloze 10,5 ha. Dá se předpokládat, že právě Taffové nechali upravit.
Rozsáhlý zámecký park (foto zde) (přes 15 hektarů), který je volně přístupný a jistě stojí za návštěvu, vzhledem ke své unikátnosti. Na začátku 19. století zde bylo vysázeno množství cizokrajných dřevin, které se dochovaly dodnes. Za zmínku určitě stojí ojedinělý mohutný exemplář cedru libanonského (průměr koruny 15,6 m). Z dalších dřevin je možné jmenovat např. jedli řeckou, kaštan jedlý, jinan dvoulaločný, svitel latnatý, jilm lysý, nahovětvec kanadský atd. Park je využíván i pro účely výchovného ústavu, takže se zde nachází i zahradnictví se skleníkem a chovatelský dvorek se zvířaty (ovce, kozy, různé druhy drůbeže).
Torzálně se dochovaly i některé drobné stavby a sochařská výzdoba parku.
Znovuobnovený rybník zámeckého parku
V samotném konci roku 2011 byla opravena hráz rybníka uprostřed zámeckého parku. V současné době se opět „leskne hladina rybníka“, přesně pod strání, kde se po velmi horkém odpoledni večer po 21. hodině zabouřilo a přes zámecký park se přehnalo tornádo, které způsobilo v parku rozsáhlé škody. S velkým štěstím zůstala tehdy uchráněná vesnice, protože směr tornáda se změnil nad zahradnictvím výchovného ústavu a vyhnul se vesnici, která díky tomu zůstala uchráněná.
Nové sochy panny Marie Lurdské v jeskyni a sv. Josefa v zákoutí
0d neděle 9. června 2013 odpoledne se opět nachází socha panny Marie Lurdské v jeskyni v zámeckém parku. Původní lurdskou jeskyni nechal v zámeckém parku postavit roku 1888 hrabě Ferdinand Spiegel. 7. října toho roku ji posvětil místní farář Tomáš Havlík za asistence farářů Františka Trnky z Horních Kounic a Josefa Spáčila z Trstěnic. Sochu současné panny Marie Lurdské vytvořil dřevořezbář a místní rodák Martin Lichevník a posvětil ji páter František Nechvátal.
Opodál této jeskyni je obnoveno zákoutí s výklenkem, kde je nově umístěna soška sv. Josefa. Ten je označován především za patrona manželů a křesťanských rodin, dětí, mládeže a sirotků; panenství; dělníků, řemeslníků, vychovatelů.
