Der genaue Zeitpunkt des Burgbaus in Harrbach ist nicht bekannt. Die Erbauung dürfte etwa um 1100 stattgefunden haben. Die Herren der Harrbaurg waren wohl Dienstherren der Herren der Homburg. Jedenfalls ist die Geschichte der Harrburg eng mit der Homburg verknüpft. 1169 wird ein Gerhard von Hartbach als Zeuge bei einme Kauf des Kilianskollegiums genannt. 1189 wird ein Richalmus von Hartbach bei der Gründung des Klosters Schönau erwähnt. Hier tauscht Abt Konrad von Fulda auf Vorstellung Friedrichs von Heselare ( verm. Heßlar) die „Villa Mope“ ( Schönau) gegen bessere Güter, unter anderem „ Richgartebuch“ ( Reichenbuch) mit dem Grafen Gerhard von Rieneck. Dieser verkauft es sofort an Friedrich von Heselare weiter. Der trug es durch seine Salmannen Adalbert von ‚Grumbach, Richolm ( Richalmus) von Hartbach und anderen der Kirche des hl. Kilian in Würzbug auf. Durch deren Vorstehe, dem Bischof von Würzburg sollte hier ein Klösterlein zu Ehren der seligsten Jungfrau Maria gebaut werden. Dergleiche erscheint nochmals 1193 in Verbindung mit Optericius von Hohinberc bei einem notariellen Akt in Würzburg. 1221 bezeugen Theodericus de Hohenberg und Albertus von Hartbach dem Bischof von Würzburg die Übergabe von Liegenschaften in Stutbach und Turtal. 1437 verkaufte Dietrich, Herzog von Bickenbach ( Homburg) das ganze Dorf Harrbach ( einschl. Burg ? ) an den Grafen Voit von Rieneck. Zwischenzeitlich muß Dietrich Harrbach wohl zurückerworben haben, denn am 27.08.1445 verkauft er Harrbach an seine Schwester Agnes, Abtissin im Kloster Schönau. Diese vermacht wiederum am 05.05.1447 Harrbach an ihren Neffen Conrad von Bickenbach. Derselbe verkauft 1469 Harrbach an den Fürstbischof Rudolf von Scherenberg ( Hochstift Würzburg). Dieser Verkauf war wohl nötig gewesen, da sich die wirtschaftliche Entwicklung der Bickenbacher sehr verschlechtert hat. Außerdem war sein einziger Sohn, der ebenfalls Konrad hieß,schwachsinnig. Der Chronist drückte sich etwas höflicher aus und beschrieb Konrad ( jr.) von Bickenbach als „ durch Verhengknis des allmächtigen Gottes an Gliedern und Vernunft etwas mergklich gebrechlich“. Die Geschichte der Harrburg endet im Bauernkrieg, vermutlich im Jahre 1525. Sehr viel von sich reden machte die Harrburg also nicht. Sie war eine befestigte Außenstelle der Homburg. Beschrieben wird die Harrburg als „ Burgstall“ ( Burgstelle). Der Bering der Burg hatte einen Umfang von etwa 36 auf 40 Metern. Die Mächtigkeit der Umfassmauern schwankt zwischen 1,30 bis 1,50 Metern. Die Einfahrt lagen gegen Süden, dort hatte sich auch ein Torturm befunden. Vermutlich war die ganze Anlage von tiefen Gräben umgeben. Sichtbar sind heute noch der Ost- und der Westgraben. Die Tiefe schwankt ( bei derzeitigem Niveau) zwischen 2 und 6 Metern. Noch 1909 beschreibt Heßler in seinem Werk „ Burgen und Schlösser in Unterfranken“ Mauern, Tür- und Fensterbögen. Diese Reste der Ruine wurden erst im 20. Jahrhundert zum Stall- und Scheunenbau in Harrbach verwandt. Heute lassen nur noch spärliche Mauerreste die ehemalige Burganlage erahnen.
