Aufgrund des Ausbruchs des Ersten Weltkriegs konnten Liebermann seine jährlichen Malaufenthalte, die ihn in die Niederlande führten, nicht mehr antreten und sein Gartenrefugium wurde immer mehr zu seinem Inspirationsort. Seine Sommeraufenthalte zwischen 1910 und 1934 brachten über 200 Ölgemälde und zahlreiche Arbeiten auf Papier hervor. Der Künstler stellte in seinen Werken seinen Garten in aller Farbpracht dar, dessen Aussehen so auch für die Nachwelt erhalten wurde. Nach Liebermanns Tod im Februar 1935 unterlag das Haus einer wechselvollen Geschichte, deren trauriger Höhepunkt der Zwangsverkauf 1940 war. Die Nationalsozialisten zwangen Liebermanns Witwe, Martha das Grundstück an die Deutsche Reichspost zu verkaufen. Diese errichtete in der Villa ein „Schulungslager“ für ihre „weibliche Gefolgschaft“. Infolgedessen wurde der Garten der Liebermanns fast vollständig zerstört und mit der benachbarten Villa Hamspohn zusammengelegt. Nach 1945 diente die Villa gemeinsam mit der benachbarten Villa Hampsohn dem Städtischen Krankenhaus Wannsee als chirurgische Abteilung. Im Jahr 1951 erhielt Liebermanns Tochter Käthe das Anwesen zurück. Sie schloss mit dem Krankenhaus einen Mietvertrag ab. Ihre Tochter Maria erbte das Haus nach dem Tod der Mutter 1952 und verkaufte es 1958 an das Land Berlin. Die Klinik sollte das Gebäude bis 1969 nutzen. Für zwei Jahre stand das Gebäude infolge leer, bis es der Deutsche Unterwasser-Club als Vereinsheim pachtete. Mit ihrer Gründung 1995 begangen auch die Bemühungen der Max-Liebermann-Gesellschaft das Sommerrefugium des Künstlers zu erhalten um dort ein Liebermann-Museum zu errichten. Doch die Stadt hatte zeitgleich den Pachtvertrag mit den Tauchsportlern vorzeitig für zwanzig Jahre verlängert. 1997 gelang es nach langem Ringen und dem Einsatz von zahlreichen Bürgerinnen und Bürgern, eine museale Nutzung des Gebäudes zu verwirklichen. Der Berliner Senat stimmt dem passend zu Liebermanns 150. Geburtstag zu. Eine Zusage finanzieller Mittel erfolgte jedoch nicht. Viele Privatpersonen und Institutionen sprangen ein als 2002 Restaurierungs- und Umbauarbeiten an der Villa begangen. Ab 2004 wurde die ursprüngliche Gartenanlage wiederhergestellt. In insgesamt vier Bauabschnitten, die bis 2014 durchgeführt wurden, konnte der Garten originalgetreu wiederaufgebaut werden. Dabei konnte zum Teil auf die Originalsubstanz, wie Stützmauern, Treppen, die Lindenhecke im Vorgarten und Reste der Hainbuchhecke zurückgegriffen werden. Historische Fotografien, Briefe, Pläne und auch Liebermanns Gemälde dienten ebenfalls der Rekonstruktion.
Der Garten der Liebermanns verfügt über verschiedene Gartenabschnitte, die unterschiedlich genutzt wurden. Neben dem Nutzgarten mit Obst- und Gemüsegarten, der im vorderen Teil des Gartens zur Straße hin angelegt wurde, gibt es rückseitig ein Birkenwäldchen, Heckengärten, die ein Lindenkarree, einen ovalen Garten und einen Rosengarten beherbergen. Den Garten ließ Liebermann als Reformgarten anlegen. Als Vorbild für den Nutzgarten dienten norddeutsche Bauerngärten. Ein Mittelweg dient der Gliederung zwischen Blumen- und Gemüsebeeten und wird von üppigen Blumenrabatten gesäumt. Durch diese Gestaltung entsteht eine direkte Blickachse, die durch das Haus den Blick auf den Wannsee freigibt und auch heute noch so besteht. Hinter dem Haus befindet sich der See, zu dem der Garten terrassenförmig hin abfällt. Neben der Terrasse, die der Familie als Erweiterung des Wohnzimmers diente, wurden Blumenbeete und Heckengärten angelegt. Ein Birkenwäldchen flankiert auf der Südseite die Frühlingswiese, die ab März von Frühblühern übersät ist und den Blick auf den See freigibt. Auf Wunsch Liebermanns blieb das Birkenwäldchen erhalten. Die alten Birken mussten jedoch vor zwanzig Jahren durch neue ersetzt werden. Drei Heckengärten rundeten die Gartengestaltung ab. Heckengärten waren ein wichtiges gestalterisches Werkzeug für die Gartenreformer. Die Idee dieses Gestaltungselements war es, zusätzliche architektonische Räume zu schaffen.