גן הזיכרון הסמוך למוזיאון הפולנים מצילי היהודים מתקשר מצד אחד אל חיבתו של יוזף אולמה לגננות ואל גן חסידי אומות העולם ביד ושם, מצד שני.
בשבילי הגן מפוזרות טבלאות ועליהן שמות ערים, עיירות וכפרים בגבולות פולין בשנת 1939. במקומות אלו פולנים שמו נפשם בכפם על מנת להציל יהודים בעת הכיבוש הגרמני. הרשימה כוללת אך ורק את המקומות בהם פעלו פולנים שהוכרו כחסידי אומות העולם; לפיכך נעדרים ממנה מקומות בהם עשו להצלת יהודים גיבורים אחרים, ששמם פעמים רבות לא נודע. יהי גן זה יד לזכרם.
בלב הגן עומדת אנדרטה לזכרה של משפחת אולמה, אשר הוקמה בידי הקהילה המקומית ביום השנה השישים לרצח במארקובה.