Da Olav og hans menn som ridende gjennom Meldal skal de ha stoppet ved det som i dag kalles Olskjelda for å drikke. De kom til et juv der Olav måtte få hesten til å hoppe over, og hesten landet så hardt at hoven satte fra seg et spor i berget. Denne steinformasjonen kalles derfor Olskastet. Dette sporet etter Olav ble for noen tiår siden dekket av ei veifylling, men mange mener å huske hvordan det så ut.
I dag går pilegrimsleia forbi Olskastet og Olskjelda, og det er i nærheten reist et "sælehus" der pilegrimer kan overnatte. Slike "sælehus" var mye brukt i middelalderen da de fungerte som enkle krypinn for de veifarende.