Flyttningen och dansken anfaller
Runt år 1430 befaller kungen Västerviksborna att flytta sin stad till Gamlebyvikens mynning. Staden anfalls flera gånger av bland annat danskarna.
Kring 1430 befaller kung Erik av Pommern stadsborna att flytta sin stad ned till Stäkelöth vid vikens mynning. Eriks fogde Lage Röd anvisade dem plats och man fick också några års skattebefrielse för att bygga sin kyrka.
Redan året därpå råkar stadsborna ut för strider mellan kung Eriks män på borgen och upprorsmakaren Engelbrekts män, vilka anföll borgen. Bland anfallarna finns också en blivande kung, Karl Knutsson Bonde till Fågelvik.
Borgen stod dock emot alla anfall. I mitten på 1400-talet anfaller danska styrkor för första gången och troligtvis förstördes en stor del av staden, men inte borgen. Under resten av 1400-talet och början av 1500-talet råkar både staden Västervik och borgen ut för stridigheter mellan unionsanhängarna och Sturepartiet.
Dansken anfaller
År 1517 finns Johan Arendsson Ulv som fogde på borgen. En dansk styrka anfaller och ödelägger det året både stad och borg. Ungefär 140 människor beräknas ha dött. En stor del av stadsborna hade tagit skydd i borgen men dog i lågorna eller drunknade i viken då de försökte simma in till staden igen.
Stadsborna tog saken i egna händer och flyttade tillbaka till sin gamla stad längst inne i viken och blev kvar där ända fram till 1547. Då bestämmer Gustav Vasa att stadsborna ska flytta tillbaka till kusten och där bygga upp och befästa sin stad på en ny plats längre ut mot sjön. Så blev det dock inte, Västerviksborna bygger upp sin stad kring kyrkan, och bryr sig inte heller om att befästa den.
Gustav Vasa ingriper ytterligare en gång i stadens angelägenheter. Nämligen 1548 då han befaller att ett kronovarv ska byggas intill borgen.
Dessförinnan fraktas ektimmer från Tjustbygden upp till Stockholm för att bygga krigsfartyg. Kungen ansåg att detta inte var ekonomiskt försvarbart. Stora delar av den krigsflotta som Gustav Vasa och senare Erik XIV skaffade sig byggdes i Västervik. Mot slutet av 1500-talet fick varvet en nedgångsperiod. Då vägrade innehavaren av Stegeholms grevskap, Märta Leijonhuvud, kung Märta kallad, varvet att fortsätta hämta timmer ur hennes skogar.
I mitten på 1500-talet har stadens befolkning beräknats till omkring 400. 1565 finns en uppgift om att stadens varv sysselsatte 104 personer. Man kan nog säga att Västerviksborna var helt beroende av varvet för sin försörjning.