Nach der erfolglosen Aufstiegsrunde ging der Blick in den Folgejahren nicht mehr nach oben, sondern immer öfter nach unten. Zur Saison 1965/66 übernahm Manfred Neidig das Traineramt von Nandor Lengyel, wurde seinerseits aber schon im Winter von Helmut Schneider abgelöst. Rang fünf am Ende der Saison sollte sich als beste Platzierung der kommenden Jahre erweisen. 1966/67 rutschte die Mannschaft unter Schneider bzw. (ab Winter) Helmut Müller sogar in den Abstiegskampf. Wie schon 1959 war es am Ende richtig knapp, zwei Spieltage vor Saisonende war man auf Ausrutscher des Konkurrenten TuS Neuendorf angewiesen. Weil dieser nur am letzten Spieltag einen Punkt holte, die Wormaten aber gegen Metternich gewannen und zuhause beim 2:2 gegen Trier eine Führung aus der Hand gaben, reichte letztlich das bessere Torverhältnis für das rettende Ufer. Am Ende blieben aber auch die Neuendorfer in der Liga, weil Südwestmeister Borussia Neunkirchen die Aufstiegsrunde zur Bundesliga erfolgreich überstand und sich dadurch die Zahl der Absteiger reduzierte.
Einhergehend mit dem Niedergang der sportlichen Leistungen ließ das Zuschauerinteresse rapide nach, was auch mit der wachsenden Präsenz der Bundesliga im Fernsehen zusammenhing und für finanzielle Schwierigkeiten sorgte. 6.000 Zuschauer im Schnitt wie in den ersten Nachkriegsjahren waren natürlich nicht mehr zu erreichen, den damals noch darbenden Zuschauern hatten sich bald auch wieder andere Freizeitmöglichkeiten geboten. Selbst Derbys gegen den FCK zogen seit Mitte der 50er nur noch knapp fünfstellige Zuschauermassen an, wenn überhaupt, sodass sich der Schnitt auf um die 4.000 einpendelte. Die Einführung der Bundesliga kostete nach der Auftaktsaison zunächst weitere knapp 15% Besucher. Verstärkt durch die Fast-Abstiegssaison 66/67 und sportliche Perspektivlosigkeit brach das Interesse dann aber binnen zwei Jahren um die Hälfte ein.
Die sinkenden Zuschauerzahlen waren allerdings ein bundesweites Problem. Die Bundesliga entzog den vorherigen Oberligen die zugkräftigsten Klubs und die Zuschauer folgten diesen. Im Norden und Südwesten sank der Schnitt, nur zu den Spielen im Westen pilgerten noch regelmäßig rund 6.000 Fußballinteressierte. In der Berliner Stadtliga, immerhin zweitklassig, gab es mit 36 Zuschauern in der Partie Reinickendorf gegen Blau-Weiß 90 einen Minusrekord. Der Spiegel zeigte das Problem auf:
„Den katastrophal sinkenden Einnahmen standen jedoch gleichbleibende Ausgaben gegenüber: Gagen für Spieler und Trainer, die Anreise zu Auswärtsspielen erforderten wenigstens 7000 Mark monatlich — wie etwa bei den Sportfreunden Saarbrücken. Einige Vereine kürzten die Gehälter sogar bis auf 40 Mark. Die Regionalliga-Klubs dürfen aber höchstens drei unbezahlte Amateure einsetzen.“
Vgl. Trikots vermietet, in: Der Spiegel, Nr. 44, 1967, S. 116
Die Vereine gingen unterschiedlich mit der neuen Situation um. Einige rüsteten auf für den Sprung in die Bundesliga und verhoben sich kräftig, wie etwa Hessen Kassel. Andere suchten Fusionsgespräche, wie Saar 05 mit dem großen 1.FC Saarbrücken. Die bereits genannten Sportfreunde dagegen erwägten die Lizenzrückgabe, spielten dann aber ohne Gehalt weiter und erholten sich als regulärer Absteiger in der Amateurliga. Auch Arminia Hannover kündigte schon die Lizenzrückgabe an, schaffte es dann jedoch in die lukrative Aufstiegsrunde. Diese galt, so der Spiegel, „als Anhaltspunkt für die Anziehungskraft einer Zweiten Bundesliga, in der auch die besten deutschen Regional-Equipen spielen.“ Zwei feste Aufsteiger sollte diese haben und „spätestens“ ab der Saison 1969/70 als Ersatz für die Regionalligen finanzielle Rettung verheißen.
Unter diesem Eindruck beschreibt die Festschrift von 1968 die damalige Situation wie folgt:
„Einmal ist das Fernsehen allgemeines Volksgut geworden, so dass viele sich dadurch von dem früher gewohnten sonntäglichen Sportplatzbesuch abhalten lassen und sich Sportübertragungen nur noch im warmen Zimmer ansehen. Auch der Wunsch jedes arbeitenden Menschen nach eigenem Wagen ist fast voll und ganz erfüllt, so dass die Familie einen Sonntagsausflug vorzieht. So sind auch wir in finanzielle Schwierigkeiten geraten, und wir stellen uns heute die Frage, ob es nicht doch gut war, dass wir bei Gründung der Bundesliga nicht berücksichtigt wurden und auch 1965 den Aufstieg nicht schafften. Die Belastungen im Oberhaus sind für unsere Verhältnisse astronomisch und Vereine, die über weit bessere Voraussetzungen verfügen, haben noch weit größere finanzielle Sorgen. Bedingt durch die finanziellen Schranken sind wir nicht in der Lage, fremde fertige Spieler zu erwerben, so dass wir uns auf unseren eigenen Nachwuchs und eventuell talentierte Amateurspieler beschränken müssen.“
Vgl. Vereinsgeschichte. Die letzten 10 Jahre, in: Festschrift 60 Jahre VfR Wormatia Worms, Deutschland: Girbinger Worms, 1968, S. 48
