Kdysi velkolepá a luxusní stavba konkurující hradům královským, postavena ve 14. století, vznikla díky Jírovi z Roztok, přednímu milci Václava IV.