Bereit 780/81 wurde der "Haselahastein" in überlieferten Grenzbeschreibungen genannt.

Vermutlich wurde die Burg aber erst im 11 Jhdt. gebaut.

1135 wird aus der erste Ritter der Burg genannt, ein Wigger de Hasela, ein Freiherr im Gefolge des Erzbischof von Mainz.

1119 gelang es dem Abt Erlof v. Bergholz, die Eroberung der Burg Haselstein. Jahre zuvor gingen von der Burg Haselstein, Räubereien und Kämpfe des buchischen Adels und der Abtei Fulda ein her.

1156 kam es zu einer erneuten Belagerung und Besetzung der Burg, durch den Abt Marquard, wobei Gerlach v. Haselstein von der Burg vertrieben wurde. Die Burg selbst wurde mit fuldischen Amtsleuten besetzt.

1170 an die Nachkommen zurückgegeben, nachdem sie sich mit der Abtei ausgesöhnt hatten. Die Haselsteiner wurden als fuldische Ministerialen eine wichtige Stütze der Abtei und erhielten besondere Ämter.

1313 war Heinrich v. Haselstein Probst des Andreasklosters bei Fulda.

1330 starb Heinrich v. Haselstein als letztes seines Geschlechts. Danach war Haselstein fuldischer Amtsitz und wieder mit Amtsleuten besetzt. Das Amt wurde mehrmals verpfändet, aber immer wieder eingelöst.

1465 übertrug Georg v. Buchenau seinen Anteil an Ldgf. Heinrich III. von Oberhessen. Abt Reinhard v. Weilnau erwarb ihn jedoch unter Schwierigkeiten zurück, um ein gezieltes Vordringen Hessens zu verhindern.

1512 wurde die Burg letztmalig genannt, als Dietrich v. Ebersberg Amtmann auf der Burg war.

1546 wurde ein Amtshaus am Fusse des Berges errichtet, was wahrscheinlich den Verfall der Burg herbeiführte. Seitdem wurde die Burg Haselstein zur Steingewinnung genutzt.