Das Gebäude wurde 1841 als Königliche Forst- und Jagddiensthütte errichtet.
In dem östlichen Dienstraum befinden sich acht Wandgemälde mit Jagdszenen, die der Genre- und Tiermaler Friedrich Anton Wyttenbach (1812–1845) während seines Münchener Jahrzehnts angefertigt hatte. Auf ihn bezieht sich die Bezeichnung des Gebäudes als Wyttenbachhütte bzw. Wyttenbach-Hütte.
Die alternative Bezeichnung Gelbes Haus erinnert an ein hölzernes Jagdschloss gleichen Namens, das von 1734 bis 1746 einige hundert Meter westlich der jetzigen Stelle der Diensthütte stand.