Das Schloss liegt malerisch auf der Route nach Innsbruck (etwa 32 km von Reutte) gleich hinter dem Fernpass. 1519 erstmals erwähnt, beherbergte es Kaiser und Könige, die auf dieser einst wichtigen Verbindung zwischen Allgäu und Tirol unterwegs waren. Die privaten Seen Fernsteinsee und Sameranger See neben dem Schloss sind wegen ihrer Klarheit und einmaligen Flora ein Geheimtipp für Taucher.