Im Jahr 1821 errichtete man das heute unter Denkmalschutz stehende Haus als "Offiziershaus" am Eingang des Schlossgartens.
In den Jahren 1822 bis 1864 diente es als Dienststelle für einen Polizeisergeanten und einen Polizeidiener. Bis zu seinem Ableben im Jahr 1849 wurde das Haus als Wohnsitz von Hauptpolizist Wenzel Langer genutzt. Nach seinem Tod durfte seine Witwe im Gebäude wohnen bleiben. Ab 1869 bewohnte Polizeisergeant Redler das Haus als Langers Nachfolger, und zwölf Jahre später wurde es zusätzlich als Meldebüro für die "Fremdenpolizei" verwendet. Später fand auch Gärtner und Stellmacher Johann Gustav Taubert dort eine Bleibe.
Der letzte Mieter zog im Jahr 2000 aus, woraufhin das Haus bis zur Sanierung im Jahr 2012 leer stand. Ende des 19. Jahrhunderts nutzte es der Schlossgärtner als Wohnhaus, weshalb es den Namen "Gärtnerhaus" erhielt.
In den vergangenen Jahren hat der Verein "Bürger für das Schloß Ritzebüttel e.V." intensiv daran gearbeitet, die Sanierung dieses stark sanierungsbedürftigen und verlassenen Gebäudes voranzutreiben. Die Stadt Cuxhaven, als Eigentümerin des Hauses, konnte die Finanzierung dieses denkmalgeschützten Kleinods durch zahlreiche Sponsoren sicherstellen. Die Innen- und Außensanierung fand von März 2012 bis Juni 2013 statt. Unter dem Konzept des "erlebbaren" Denkmals hat der Verein "Bürger für das Schloss Ritzebüttel e.V." das Gärtnerhaus übernommen und vermietet es seitdem oder stellt es für künstlerische Aktivitäten zur Verfügung.
Das malerische Biedermeierhäuschen erstreckt sich über knapp 100 m² auf drei Ebenen und verfügt über einen kleinen Garten mit einer geräumigen Südterrasse. Es befindet sich in zentraler Lage am Eingang des wunderschönen Schlossgartens und gegenüber der beeindruckenden Martinskirche am Ritzebüttler Marktplatz.
Von hier aus sind viele sehenswerte Punkte in Cuxhaven fußläufig erreichbar: u.a. das Schloss Ritzebüttel, die Galerie Alte Wache, das Schlossrestaurant, das Schweizerhaus und das Ringelnatzmuseum, die Fußgängerzone, der Bahnhof, der Hafen und die "Alte Liebe".