Nach dem Besuch der Trierer Domschule und des Gymnasiums war Schmitt seit 1825 zunächst als Hauslehrer der Bankiersfamilie Mohr tätig. Daneben nahm er das Studium der Theologie und Philosophie als Externer am Bischöflichen Priesterseminar auf. Die Priesterweihe erfolgte 1830 durch Bischof Joseph von Hommer, dessen historische Interessen sich wohl auch auf Schmitt förderlich ausgewirkt haben. Danach war er Kaplan an St. Paulus in Trier, war aber weiter als Hauslehrer tätig.
Die erste Pfarrstelle in Dillingen (Saar) 1833-1848 war verbunden mit dem Nebenamt des königlichen Schulinspektors. Aus dieser Aufgabe resultiert die Herausgabe mehrerer Schulbücher (Sprachlehre, Geschichte, Geographie) für Elementarschulen um 1839. Ein ausgeprägtes wissenschaftliches Interesse manifestiert sich in Schmitts Forschungen und Publikationen zur Geschichte und Geologie der Saargegend, die ihre Ergänzung in regelmäßigen meteorologischen Beobachtungen und Aufzeichnungen sowie in einer Sammlung von Mineralien und Fossilien fanden. Von entscheidender Bedeutung für seine weitere gelehrte Arbeit erwies sich die bereits 1835 erfolgte Berufung zum korrespondierenden Mitglied der Trierer „Gesellschaft für Nützliche Forschungen“. Damit verlagerten sich in der Folgezeit die Schwerpunkte seiner Interessen von naturkundlichen Arbeiten hin auf das Gebiet der „historisch-antiquarischen“ Forschungen. Mit seinem 1850 erschienen Buch über den Kreis Saarlouis liegt erstmals in der Geschichte der archäologischen Landesaufnahme des Rheinlands und darüber hinaus eine systematische Beschreibung der Bodenaltertümer eines ganzen Landkreises vor.
1848 erfolgte die sicherlich von ihm erwünschte Versetzung als Pfarrer nach St. Paulin bei Trier und die Ernennung zum Schulinspektor für den Bereich von St. Gervasius. Im gleichen Jahr wurde er zum ordentlichen Mitglied der Gesellschaft für Nützliche Forschungen gewählt; 1852 nahm er das Ehrenamt des Vizepräsidenten wahr, 1853 das des Präsidenten. Ihm wird die in dieser Zeit erfolgte Reorganisation und Inventarisierung von Teilen der Sammlungen sowie Neuordnung und Verzeichnung des Archivs der Gesellschaft verdankt.
In St. Paulin erforschte er nach historischen Quellen und eigenen archäologischen Untersuchungen die Kirche St. Paulin mit der Bestattung des namengebenden Bischofs Paulinus (+358) und das umliegende Gräberfeld seit den frühchristlichen Anfängen; die Resultate veröffentlichte er 1853 in einer gelehrten Monographie. Es folgten weitere archäologische Abhandlungen in den Jahresberichten der Gesellschaft.
Ebenso grundlegende und wie bleibende Verdienste erwarb er sich um die Erforschung der Altertümer des Landkreises Trier, den er zwischen 1848 und 1854 auf zahlreichen Entdeckungsreisen – wie zuvor in Saarlouis und Umgebung – auch in Bezug auf Geologie, Flora und Fauna erkundete. Auf der Grundlage der dabei entstandenen „Historisch-archäologischen Notizen“ erfolgte 1854/55 die Niederschrift seines Hauptwerkes: „Der Kreis Trier unter den Römern und in der Urzeit“.
Schmitt war auch die maßgebliche Persönlichkeit des 1853 von Bischof Wilhelm Arnoldi gegründeten „Christlich Archäologisch-Historische Verein für die Diözese Trier“. In Ergänzung zu den der Gesellschaft für Nützliche Forschungen vorbehaltenen antiquarischen Untersuchungen zur Vorgeschichte und Römerzeit widmete sich der neue Verein den Denkmälern der christlichen Kunst des Mittelalters sowie der Geschichte des Bistums. Eine Reihe von Schmitts einschlägigen kirchengeschichtlichen Studien erschienen zumeist anonym 1856 im ersten Heft der Vereinsmitteilungen. Im Rahmen der Bestrebungen des Vereins plante der die Erfassung der kirchlichen Kunstwerke des Trierer Umlandes in einer „Monumental-Statistik“.
Mit seinem geistlichen Mitbruder Johann Ost war Schmitt nicht nur in freundschaftlicher Weise verbunden. Beide waren beeinflusst von den historischen Forschungen des Trierer Bischofs Hommer, der sowohl Schmitt als auch Ost im gleichen Jahr zu Priestern geweiht hat. Beide haben neben ihren Pflichten als Pfarrer im Auftrag der Gesellschaft für Nützliche Forschungen weite Landstriche in Eifel, Hunsrück und der Saarregion auch archäologisch und naturkundlich erforscht. Die von beiden Gelehrten nahezu druckfertigen Niederschriften ihrer Forschungen sind leider unveröffentlicht geblieben, nachdem Schmitt 1856 nach der missglückten Bergung eines Sarkophages an den Folgen eines Leistenbruchs „allzufrüh im Dienste der Archäologie“ (Alois Thomas) verstorben war.