Kui enamasti liikusid mõisad käest kätte – kas päranduse, vahetuse, müügi või rendi tõttu –, siis Palmse seos ühe suguvõsaga läbi kahe ja poole sajandi on üpris eriline. See uuendusmeelne pere arendas mitte ainult oma valdusi, vaid andis ajaloole ka mitmeid nimekaid persoone.

Palmse küla (endise nimega Palkemas) on esimest korda mainitud XIII sajandi lõpul, mil see kuulus koos mitme teise külaga Tallinna Püha Miikaeli nunnakloostrile. Arvatavalt arendas Palmse mõisaks just seesama tsistertslaste Miikaeli ehk Mihkli klooster, kes siit nii tulusid kui ka toidu lauale sai. Sellest ka nimetus lauamõis. Kloostriaegadega seostatakse ka kivikülvi mõisasüdamiku lähistel metsa all. Väidetavalt olevat kloostrikivid kivistunud kuradikesed, kes nunnasid kimbutamas käinud.

XVI sajandi alguses otsustas klooster vahetada Palmse Tallinnale lähemal asuva Nabala mõisa vastu. Uus omanik Bertram Junge müüs mõisa õige pea oma õemehele Diedrich Metztackenile. Viimase valduses oli mõis ka Liivi sõjas, mis Palmse südamikus pea ühtki hoonet terveks ei jätnud.

1676. aastal läks Palmse, mida seniste omanike järgi ka Metsataguse mõisana tunti, pärijanna abielu kaudu Gustav Christian von der Pahleniga ligi 250 aastaks Pahlenite suguvõsa valdusesse.