Sem kirke er en steinkirke oppført på første halvdel av 1100-tallet. Kirken avløste en eldre trekirke. Kirken var viet Olav den hellige. Innvielsesåret er ikke kjent. 900-årsjubileum ble imidlertid feiret i 1999.
Det opprinnelige navnet på kirken er Sæheimr, navnet var knyttet til gården som i dag heter Jarlsberg.
Opprinnelig var Sæheimr en kongsgård, sannsynligvis allerede i fylkeskongens tid. Senere bodde rikskongene her når de besøkte Vestfold.
Det skal ha vært under en messe i Sem kirke at Rørek forsøkte å ta livet av Olav den Hellige. Sem kirke blir også nevnt i forbindelse med at Harald Gille gikk på glødende plogjern for å bevise at han var bror av Sigurd Jorsalsfar. Baglerkongen Erling Steinvegg bar glødende jernplater i Sem kirke for å bevise sin kongsrett.
Prekestolen i Sem kirke er fra 1592, og er en av de eldste bevarte prekestolene i Vestfold.