Prawdopodobnie już w średniowieczu istniała tu jakaś posiadłość. Została ona zniszczona podczas wojen husyckich (1419 - 1434) i jej dalsze losy nie są znane. W 1656 r. Miłków kupił hrabia Carl Heinrich von Zierotin i w 1677 r. zbudował tu swoją siedzibę w formie trójskrzydłowego pałacu z reprezentacyjnym dziedzińcem. Kolejnymi właścicielami byli hrabiowie von Toppolczan, od 1737 r. hrabia von Waldstein, a od 1765 r. hrabia Johann Nepomucen Lodron - Laterano. Za jego gospodarzenia pałac został znacznie uszkodzony przez pożar i hrabia zarządził, w roku 1778, jego przebudowę w stylu barokowym oraz utworzenie wokół pałacu sporego parku. W 1792 r. pałac odziedziczyła hrabina Therese von Lodron. Była ona żoną Bernarda Marii hrabiego Matuschka - Toppolczan, właściciela pokaźnych zbiorów przyrodniczych odziedziczonych po ojcu, sławnym botaniku Heinrichu Gottfriedzie. W XIX w. pałac częściowo przebudowano, zmieniając m.in. fasadę i nadając jej styl neobarokowy. Do końca II wojny światowej majątek pozostawał w rękach rodziny Matuschka. Po wojnie w pałacu umieszczono dom wczasowy. W 1978 r. odrestaurowało go Sudeckie Zjednoczenie Rolno - Przemysłowe. W ciągu ostatnich lat mieścił hotel i restaurację należącą do znanej wrocławskiej piwiarni "Spiż". Obecnie właścicielami kompleksu pałacowego są Michael Erlebach i Alex Freaks z Anglii. (www pałacu : www.spiz.pl wybrać Miłków, strona dostępna 23.08.2018 r.)