An die Grabstätte auf dem Johannesfriedhof gelangte Dürer über seine Schwiegereltern, Anna und Hans Frey, die beide dort bestattet wurden. Ein Bronzeepitaph mit dem Allianzwappen der Frey und Rummel sowie einer Inschrift erinnern an die beiden. Als Dürer am 6. April 1528 verstarb, wurde auf dem das Grab bedeckenden Sandsteinquader zusätzlich eine von Willibald Pirckheimer entworfene Inschriftentafel angebracht, die auch in verschiedenen Abschriften der Familienchronik beschrieben wird (vgl. GNM, HS 94045, fol. 14r). Nach dem Künstler wurde noch seine Frau Agnes dort beigesetzt, bevor das Grab 1651 von der Stadt Nürnberg ausgeräumt und dem Heilig-Geist-Spital zugewiesen wurde. 1680 kam Joachim von Sandrart durch Erwerb eines anderen Grabes und Tausch mit dem Spital schließlich in dessen Besitz und ließ es im Folgejahr restaurieren. Neben in den Stein gemeißelten Inschriften an den Seiten ließ er Pirckheimers Tafel auf einen pultförmigen Sockel setzen und stiftete ein weiteres Epitaph mit deutschen und lateinischen Ruhmesversen auf Dürer. Sandrart vermachte das Grab der Nürnberger Malerschaft. In der Folge fiel es in den Zuständigkeitsbereich der Malerakademie, die sich ihr Eigentumsrecht nach der Eingliederung Nürnbergs in das Königreich Bayern amtlich bestätigen ließ (vgl. Schwemmer 1976).
Als Gedenkstätte und Ort der Künstlerverehrung gewann das Grab vor allem im 19. Jahrhundert an Bedeutung. 1818 fand dort die erste überlieferte Dürer-Feier statt – organisiert von jungen Nürnberger Künstlern, die sich zum Albrecht Dürer Verein zusammenschlossen (vgl. Galter 2022, S. 60). Bereits zuvor kursierten mutmaßlich aus der Ruhestatt entnommene körperliche Überreste Dürers, etwa dessen Kopf (vgl. Kollektaneen über Albrecht Dürer, SLUB, Mscr.Dresd.P.15.b, fol. 17r), die ähnlich wie Reliquien behandelt wurden (vgl. Grebe 2013, S. 141f). Zahlreiche Darstellungen der Grabstätte überliefern als bildhafte Zeugnisse die Bedeutung des Ortes für den Nachruhm des Künstlers.