Olafsson fæddist í Reykjavík 1961 og fluttist austur á Fáskrúðsfjörð um eins árs aldur. Þar stundaði hann hefbundið nám innanum kraftmikkla náttúru í faðmi fjalla og djúpra dala. Olafsson er tvíburi og á einnig eldri tvíburabræður. Alls eru systkini hans fimm, Johann, Bergþór, Sesselja, Torfhildur og Ruth. Foreldrar eru Olafur Bergþórsson og Sesselja Guðmundsdóttir.

Eftir lögbundið nám á Fáskrúðsfirði stundaði Olafsson nám Við Myndlista- og handíðaskóla Íslands sem nú heitir Listaháskóli Íslands. Þaðan útskrifaðiast hann árið 1981 eftir fjögura ára nám í málaradeild skólans. Olafsson hefur haldið nokkrar sýningar bæði hér heima og erlendis.