Tvrz je původně gotická stavba, zničena byla r.1421, znovu pak byla postavena r.1561. Rozšířena byla na konci 17.století. Trojkřídlá stavba s torzem hranolovité věže na boční straně je uzavřena jižním směrem ohradní zdí někdejší zahrady, jejíž zbytky jsou patrny z dálkových pohledů. Vstupní budova s průjezdem otvírá pohled na obytnou budovu naproti věži, otevřenou do dvora dvěma arkádami, v jejíž místnostech jsou patrny žebírkové klenby. Na vnějšku lze spatřit zbytky sgrafitového kvádrování. Pod zříceninami tvrze existuje rozsáhlá síť podzemních chodeb. Tato část bohužel není veřejnosti přístupná.
K věži byla v r. 1707 přistavěna severním směrem ranně barokní obdélníková zámecká budova, dvoupatrová, na níž jsou zachovány nadokenní trojboké suprafenestry, zdvojené pilastry nad římsou. Budova prochází rekonstrukcí, interiér se nově upravuje na letní výtvarnou školu a regionální muzeum. Nádvoří s hospodářskými budovami a renesančními klenbami bylo na stěnách též ozdobeno sgrafitovou výzdobou, z níž se dochovaly do dnešní doby pouze fragmenty. Objekt není veřejnosti přístupný právě z již zmíněných důvodu. Zbytky ohradních zdí lemují rozsáhlé renesanční zahrady, vstupní brána do zámeckého areálu byla do renesanční podoby upravena r.1596, opravena a restaurována byla r.1996. Právě v době renesanční se Dobrš těšila jako kulturní a společenské centrum kraje velkému rozkvětu.