Cassirer war jüdischer Stadtrat in Berlin und wohlhabender Geschäftsmann. Er hatte 1910 das Grundstück für die von Paul Geheeb gegründete Odenwaldschule erworben und die ersten Häuser der Vorzeigeschule errichtet. Geheeb war mit der Tochter Cassirers verheiratet.
1935 wurde Cassirers Firma „Dr. Cassirer & Co” an eine deutsche Gesellschaft zwangsverkauft. Er selber konnte sich 1939 in die Schweiz retten und von dort nach England auswandern. Sein Eigentum, darunter eine große Kunstsammlung, wurde 1941 von den Nazis beschlagnahmt. Während viele Kunstwerke versteigert wurden, geriet das Liebermann-Bild in den Besitz des Einsatzstabs Reichsleiter Rosenberg (ERR), einer Rauborganisation der NSDAP unter der Leitung des NS-Parteiideologen Alfred Rosenberg und dem von ihm geführten Außenpolitischen Amt der NSDAP (APA).
Nach dem Krieg wurde das Bild gefunden und der „Jewish Restitution Successor Organization“ (JRSO) übergeben, die nach den Besitzern oder Erben geraubten jüdischen Eigentums suchte. Derweil wurde das Bild zusammen mit etwa 700 anderen Kunstwerken, darunter Ölgemälden und Zeichnungen auf Papier, an das Bezalel-Museum in Jerusalem zur Aufbewahrung übergeben. Es war der Vorläufer des heutigen Israel-Museums.
2012 konnte das Berliner Anwaltsbüro von Trott zu Solz Lammek zusammen mit der Historikerin Marina Blumberg anhand eines alten Fotos feststellen, dass der „Garten in Wannsee“ vor der Beschlagnahmung durch die Nazis im Musikraum von Cassirers Residenz in Berlin an der Wand gehangen habe. So wurde Max Cassirer als der rechtmäßige frühere Besitzer dieses Bildes identifiziert. Laut einer Pressemitteilung des Israel-Museums sei das Bild dem namentlich nicht genannten Erben Cassirers übergeben worden, wobei sich das Museum darum bemühe, es weiterhin als Leihgabe in Jerusalem ausstellen zu dürfen.
In der Zwischenzeit wurde das Bild im Israel-Museum gezeigt und zu Ausstellungen ins Ausland geschickt. Es war 2008 ein prominentes Ausstellungsstück, als das Israel-Museum dem Publikum „Verwaiste Kunst“ aus seinem eigenen Magazin präsentierte. Zudem wurde Liebermanns Bild in einem Katalog geraubter Kunstwerke veröffentlicht.
In den vergangenen Jahren konnte das Museum schon ein weiteres Gemälde von Max Liebermann, eine Zeichnung von Paul Klee, vergoldete römische Glas-Madaillons, einen Degas und andere Kunstwerke restituieren.
