Im Mittelalter war die Gemeinde Buch die wirtschaftliche Drehscheibe und das Verwaltungszentrum Tirols.

Die erste Urkunde, in der die Rottenburg erwähnt wird, stammt aus dem Jahr 1263. Damals wurde das Gebiet dem Grafen Gebhard von Hirschegg zugesprochen. Entstanden ist die Rottenburg sicherlich bereits in der ersten Hälfte des 12. Jahrhunderts.

Die Herren auf Rottenburg waren zunächst Andechsische Ministeriale. Sie zählten neben den Herren von Schlitters, den Frundsbergern und den Mehrensteinern zu den mächtigsten Edelleuten im ganzen Land. Später waren sie Lehnsmänner der Grafen von Tirol, die ihnen 1277 die erbliche Würde eines magister curias übertragen. Es gelangt dem Geschlecht, riesige Reichtümer anzuhäufen. Im 14. Jhd. waren die Rottenburger nach den Landesfürsten die reichsten Grundherren in Nord- und Südtirol. Zu ihrem Besitz gehörten auch die Herrschaften Rettenberg und Friedberg (Unterinntal), sowie Güter in Imst und Landeck, bei Sterzing, Kaltern, Kastelbell (Meran), Güter an der Etsch, Trient, Bozen und im Vintschgau. Auch am Gardersee besaßen sie Land. Der letzte Vertreter der Rottenburg war Heinrich VI. von Rottenburg. Er war Landeshauptmann von Tirol, an der Etsch und im Stift Trient.
Heinrich VI. trachtete jedoch nach der Landesherrschaft. Deshalb verbündete er sich zu Beginn des 15. Jahrhunderts mit den Bayern und einigen Adeligen gegen den Landesfürsten Herzog Friedrich mit der leeren Tasche. Heinrich VI. unterlag, verlor seine sämtlichen Güter und war gefangen genommen. Wieder frei gelassen, starb er im Jahr 1411 in Kaltern. Sein Tod wurde nie aufgeklärt. Die zerstörte, dann aber wieder errichtete Stammburg, fiel an den Landesfürsten. Bis zum Aussterben der weiblichen Rottenburger, wurde die Herrschaft im 1463 Pflegern überlassen. Die Burg wurde im Laufe der Jahrhunderte mehrmals verlehnt und verpfändet. Seit Ende des 18.

Jahrhunderte wurde die Ruine völlig ihrem Schicksal überlassen und ist heute in Teilen hoch aufragender Mauerstücke erhalten, die jedoch so über dem Gelände zerstreut sind, dass nur mehr geschulte Augen die Mächtigkeit der einstigen Anlage erkennen. Die noch vorhandenen Burgmauern wurden zw. 1993 und 1999 renoviert und somit vor dem gänzlichen Verfall gerettet.

Liebe Freunde des Schwazer Silberwaldes; vom Platz der Reste der Rottenburg geht auf Grund der oben beschriebenen Tragik des Geschlechts der von Rottenburg eine besondere Ausstrahlung aus. Der Ort scheint zur Ruhe gekommen zu sein, aber besonders sensible Leute spüren die bewegte Vergangenheit vor Ort. Manche müssen ihn frühzeitig verlassen und können ihn nur aus der Distanz betrachten - Armin vom Silberwald.
(Textauszüge und Bilderbereitstellung Ortschronist Friedrich Sporer)