Men sådan kom det ikke til at gå. Skagen var én af de hurtigst voksende byer i Danmark. Fra 1940 til 1960 fordobledes indbyggertallet fra 5.000 til 10.000.
I 1955 gik der 1.600 elever på skolen, så allerede i 1956 måtte man tage en helt ny skole i brug, nemlig Ankermedet skole.
Indtil da havde byens skole heddet Borgerskolen. Men i forbindelse med bygningen af Ankermedet Skole kom Borgerskolen til at hedde Kappelborgskolen – efter bydelen Kappelborg beliggende midt i byen mellem Østerby og Vesterby.
Fra omkring 1995 begyndte det imidlertid at gå stærkt den anden vej med indbyggertallet og på grund at det faldende børnetal, besluttedes det at lukke Kappelborgskolen i 2005.
Efter en del politisk tovtrækkeri omkring placeringen af et kulturhus i Skagen resulterede en folkeafstemning blandt skagboerne i, at man blev enige om at ombygge de gamle, karakteristiske bygninger - som så mange børn fra Skagen har så mange historier at fortælle om - til kulturhus indeholdende blandt andet bibliotek, musikskole, biograf, mødelokaler og en multisal.
Kulturhuset Kappelborg blev indviet med kongelig pomp og pragt den 22. august 2011.