Škarja, ki je živel v Mengšu, je bil član planinske organizacije od leta 1951. Z alpinizmom se ukvarjal od leta 1956. Opravil je prek 1000 alpinističnih vzponov, od katerih jih je bilo več kot 30 prvenstvenih.

Sodeloval je v številnih odpravah v tuja gorstva in bil velikokrat vodja odprav. Kot član odprave Mt. Everest je leta 1979 prejel Bloudkovo nagrado, najvišje državno priznanje za šport. Skupaj z Alešem Kunaverjem je bil glavni tvorec izjemno uspešne slovenske himalajske zgodbe, je zapisano na spletni strani PZS.

Od leta 1968 do 1978 je bil načelnik postaje Gorske reševalne službe v Kamniku, od leta 1979 do 2013 je vodil Komisijo za odprave v tuja gorstva pri Planinski zvezi Slovenije. Več kot osem let je bil tudi podpredsednik PZS (1998 – 2011).

Bil je pobudnik in skrbnik slovenskega dela Nepalskega planinskega muzeja.