Der vierte Seitenaltar (in der Nähe des Haupteinganges) ist mit dem großen Gemälde der hl. Notburga vesehen (N. Fritsch 1749).
Im ovalen Bild oben sieht man den hl. Florian, im kleinen Bild unter dem Altarbild den hl. Martin, den Patron der früheren Pfarrkirche.
Die Seitenfiguren verweisen auf zwei der Vierzehn Nothelfer, auf die hl. Apollonia (mit der Zange) und auf die hl. Barbara (mit dem Turm).

Der dritte Seitenaltar (gegenüber dem sogenannten Pestaltar) ist der hl. Mutter Anna (Ignaz Mildorfer 1742) und ihrer Familie geweiht.
Die Seitenfiguren stellen Johannes den Täufer und Johannes den Evangelisten dar.
Das Bild darunter zeigt den hl. Josef mit dem Jesuskind.

Die imposante Figurengruppe gegenüber der Kanzel stellt den hl. Franz Xaver dar, den Missionar aus dem Jesuitenorden, der in Indien und Ostasien wirkte.
Hier tauft er zwei Heiden, die merkwürdigerweise als Schwarzer und Indianaer dargestellt sind.
Das Kunstwerk wurde von Christoph Schönlaub geschaffen (1761)

Die prächtige Orgel über dem Hauptportal gilt als das erste Werk des Wiener Orgelbauers ANTON PFLIEGLER und erklang erstmals am 26. Juli 1767. Die Bestellung erfolgte aber noch an Pflieglers Schwiegervater Johann Hencke. So steht denn auch der Prospektaufbau noch ganz in der Tradition Henckes, wobei hier ebenso genial wie in Herzogenburg oder Maria Taferl eine vorgegebene Fensterfront umbaut wurde. Das Brüstungspositiv, das im optischen Aufbau den beiden Hauptkästen um nichts nachsteht, ragt so gleichsam aus der Brüstung in das Fenster hinein. Die gleichzeitig angebrachten Emporengitter lassen die dahinterstehende Hauptorgel nicht nur optisch, sondern auch klanglich besser zur Geltung kommen.
Die Pfliegler-Orgel mit ihren 17 Registern blieb von späteren Eingriffen nicht verschont. Bedeutsam war vor allem die teilweise klangliche Veränderung durch Johann Gatto im Jahr 1839. Die letzte Restaurierung behob alle Schäden, und damit ist eine der wichtigsten Barockorgeln Österreichs wieder hergestellt.

Am Pfeiler unter dem Musikchor befindet sich eine Statue, die die Schmerzensmutter Maria darstellt und die, wie ihr Gegenüber, die kostbare Ecce-homo Plastik, aus einer der beiden aufgelassenen Kirchen Nöstachs hierher gekommen sind. Neben der Statue der Schmerzensmutter befindet sich jene des Markgrafen Leopold, des Heiligen, der als Stifter von Heiligenkreuz. Klosterneuburg und Kleinmariazell (damals: Mariazell in Österreich) gilt.