Früher wurden hier Kartoffeln (pfälzisch „Grumbeere“) verkauft. Der Paradiesbrunnen soll an die Vertreibung aus dem Paradies erinnern. Vor dem, wie ein Schwalbennest an der Stiftskirche klebenden Küsterhaus, sprudelt frisches Wasser für den durstigen Stadtbesucher. Erst im 19. Jahrhundert, als auf diesem Platz regelmäßig ein großer Gemüsemarkt stattfand und hier auch Kartoffeln (pfälzisch „Grumbeere“) verkauft wurden, bekam er seinen Namen. Mit der Errichtung des Paradiesbrunnens im Jahr 1974 hat es der Neustadter Künstler Gernot Rumpf geschafft, dass der Platz und Teile der Turmstrasse heute wieder zu neuem Leben erweckt wurden. Der Brunnen erinnert an die biblische Paradiesgeschichte und stellt den "Lebensbaum" dar, der aus dem Urwasser des Lebens gewachsen ist. Die originelle Brunnenplastik wurde ebenfalls vom Neustadter Gernot Rumpf errichtet Adam und Eva bilden den Stamm, aus dem Blätter und Früchte heraus wachsen. Der Baum spendet Wasser, das zur Quelle, auch welcher der Baum entwachsen ist, zurückfließt und so den ewigen Kreislauf des Lebens schließt. Weil es im Paradies offenbar schon Wein gegeben haben muss, ziert Adam ein Rebenblatt. Die Schlange und der angebissene Apfel komplettieren diese originelle Brunnenplastik.