Det var kong Håkon IV. Håkonsson ( 1204 - 1263 ) som bestemte at Olavskirken skulle bygges. Men det var først da hans sønnesønn Håkon V. Magnusson ( 1270 - 1319 ) kom til makten at Avaldsnes fikk betydning rikspolitisk. Han gjorde kirken til et kongelig kollegiatkapell. Det vil si at det var knyttet flere prester til kirken, og det skulle utdannes kongens egne boklærde rådgivere og kongetro prester der, som han selv fikk rett til å utnevne. De fire fremste av disse kongelige kapellene var Apostelkirken i Bergen, Mariakirken i Oslo, Mikaelskirken ved Tønsberg og Olavskirken, og den sistnevnte er den eneste som er igjen.

Håkon V. Magnusson må ha vært minst fem ganger på Avaldsnes, vi vet om flere brev som er datert herfra. Han gav også kirken gaver og kostbarheter i sitt testamente, og han var opptatt av at kirken skulle bli ferdig bygget. Det er tydelig at han var interessert i kirken og kongsgarden. Senere konger viste ikke den samme interessen, og særlig etter Svartedaudens herjinger og at hanseatene brente kongsgarden i 1368, ble det slutt på kongebesøk.

Men Kristian IV. av Danmark - Norge, den "norskeste" av danskekongene, var to ganger på Avaldsnes - i 1608 og i 1627. Han skal da ha satt merket sitt på Jomfru Maria synål, men ingenting viser idag. Ellers vet vi ikke av kongebesøk før i nyere tid.