Der Hirschenhof war etwa ab dem Jahr 1600 Gaststätte. Einen richtigen Aufschwung erlebte das Haus unter dem Wirt und späteren Bürgermeister Josef Eggl sowie Alois und Theresia Voglsang ab 1888. 1896 ging der Gasthof um 19.000 Gulden in den Besitz des Mürzzuschlager Baumeisters Eugen Böhm über, der das spätere Hotel im ,,Schweizerstil“ samt Gartenanlage und Springbrunnen vor dem Haus errichtete. Bereits im Herbst 1899 sollte das Hotel jedoch an den Hauptgläubiger Böhms, Familie Stummer von Trauenfels kommen. Diese hatte das auf 76.000 Gulden geschätzte Haus um 52.000 Gulden ersteigert. 1900 ging das Hotel um 76.000 Gulden an Josef und Jeanette Maruschka.
Im Jahr 1903 wurde der Hirschenhof in der Illustrierten Fremdenzeitung mit folgenden Worten beworben: „Altrenommiertes Haus mit 40 komfortablen Fremdenzimmern, großem Gastlokale, schönem, schattigen Sitzgarten mit Veranda, sehr hübschem Speisesaal, ausgezeichnete Wiener Küche. Echte Naturweine und stets frisches Puntigamer Bier. Mäßige Preise, Lohndiener bei jedem Zug.“
Die Eigentümer des Hauses wechselten nun ständig. Am 4. Februar 1903 ersteigerte das auf 122.000 Kronen geschätzte Haus mit allen Grundstücken und Fahrnissen Hotelier Franz Panhans um 90.620 Kronen. Panhans wollte das Haus in der Folge völlig neu ausstatten, ließ elektrisches Licht einleiten und eine Hochquellwasserleitung für das Hotel errichten sowie Bäder einbauen. Nur wenig später, im März 1903, verstarb jedoch die Frau des neuen Eigentümers, und bereits im Mai 1903 ging es durch Überbot an Karl und Maria Stummer von Trauenfels über.
Ende 1904 wurde der Hirschenhof nach dem Tod von Hotelier Karl Stummer von Trauenfels von den Erben als Pension Hotel Stummer geführt, doch bereits in der März-Ausgabe 1905 der Illustrierten Fremdenzeitung warb Franz Friedl als Besitzer des Hauses um Gäste. Besitzer des Gasthofes ,,Zum weißen Kreuz“ am Grazer Griesplatz, hatte das Hotel am 1. Dezember 1904 um 125.000 Kronen erworben und verschaffte ihm in der Folge einen hervorragenden Ruf. Im Hirschenhof nahm unter anderem Mitte Juli 1911 Erzherzog Leopold Salvator, mit dem Automobil auf der Durchreise befindlich, samt Adjutant sein Quartier. Bereits im Juni 1904 hatte er hier während einer Inspektionsreise mit 18 Offizieren Halt gemacht und ein Galadiner genossen, über das sich die Herren äußerst lobend äußerten, wie der Spitaler Ortschronist Georg von Kremmer vermerkte.
Eine neue, vielleicht die beste Zeit für das Haus, brach im November 1920 an, als Franz Friedl das Hotel an den Wiener Hotelfachmann Wilhelm Alram verpachtete. In den späten 20er Jahren profitierte das Haus noch von den internationalen Autorennen am Semmering, wobei sich im Hirschenhof vor allem der ungarische Hochadel einquartierte. 1928 fanden sich unter den Gästen des Hauses schon während des Trainings Ferdinand Prinz Liechtenstein, Rudolf Prinz Windischgrätz, Prinz Anton Esterhazy, Graf Laszlo Almasy, Gräfin Salm, Theodor Graf Zichy, die Barone Ladislaus und Andreas Wolfner aus Budapest, die Rennfahrerin Minka Klinger, der Steyr-Werksfahrer Hansal, die Weltmeisterin im Eiskunstlauf Frau Jarie-Skolo und zahlreiche andere Persönlichkeiten. Dem Modernen gegenüber war Alram höchst aufgeschlossen. So veranstaltete er ab dem Sommer 1929 im Haus Tanzabende bei freiem Eintritt und holte unter anderem die Havanna-Jazzband aus Wien mit Albert Aberti nach Spital.
1935 wurde das Haus von Frau Elisabeth Hartl geerbt, die es durch die schwierige Kriegs- und Nachkriegszeit führte. KLV-Lager, Lazarett, Unterkunft für die britischen Besatzungstruppen waren die nächsten Stationen des Hauses. Am 1. Dezember 1953 übernahm Siegfried Buschnigg, der Sohn des ehemaligen Spitalsarztes, das Hotel in Pacht und eröffnete es mit Schrammelmusik. Dieses Gastspiel sollte nicht lange andauern.
Bereits im Dezember 1955 kauften Kurt und Dorothea Schlechtleitner das Haus von der „Alten Post“ und führten es bis 1960. Die Einrichtung der Bar im ehemaligen Saal des „Onkel Fritz“ im Jahr 1958 führte dazu, dass 1960 alle wichtigen Bälle im Dorf Spital im Hirschenhof stattfanden. Dieser Trend wurde unter dem neuen Besitzer Eduard Hirschfeld im September 1960 noch verstärkt, wobei an der Ostseite auch ein ebenerdiges „Espresso“ errichtet wurde. In den 1960er Jahren fand hier der beliebte 5-Uhr-Tee statt, bis Anfang der 1970er Jahre traten Live-Bands aus der Umgebung auf, auch Schultheater wurde hier gespielt, und es fanden öffentliche Weihnachtsfeiern statt.
Hirschfeld übernahm finanziell und der Hirschenhof ging 1966 an die Europahotel Austria Betriebs GmbH und 1967 an Ernst Burdack über. Unter dem Hotelbesitzer Herbert Schwaiger ab 1974 wurde der Bar- und Espressobetrieb rasch eingestellt und der Ausbau unter dem neuen Eigentümer Dkfm. Adolf Weinberger (Dezember 1980) abgerissen. Der neu renovierte Hirschenhof sollte zu einem Appartementhaus umgebaut werden und ging im Herbst 1985 als „Schwechaterhof“ wieder in Betrieb, zunächst als Pachtbetrieb der Familie Kikkenweitz. Nachdem Anfang der 1990er Jahre für etwa ein Jahr das griechische Restaurant „Akropolis“ in dem Gebäude war, eröffnete Mikel Syla im Frühjahr 1997 dort die Restaurant-Pizzeria „Victoria“. Im Jahr 2004 übernahm Frau Karin Isabella Weinberger den Standort als Restaurant Hirschenhof und bot steirische Küche und internationale Spezialitäten an. Im Jahr 1994 pachtete die Familie Margit und Friedrich Reiter den linken Teil des Erdgeschosses und richtete dort „Reiter’s Kaffeehäferl“ ein, das 2004 unter der neuen Betreiberin Michaela Preis zu „Michi’s Kaffeehäferl“ wurde. Im Jahr 2006 wurde das Lokal von Frau Brigitte Lang in „Gitti’s Kaffeehäferl“ umgewandelt. Gründlich und geschmackvoll renoviert, eröffnete Frau Karin Weinberger am 1. September 2008 das Lokal selbst als „Café Hirschenhof“.
