Den første lærer på Orø, som man hører om, er Hans Nielsen i 1642. Hans Nielsen stævnedes for retten pga. drikfældighed og uskikkelighed over for sin kone.
I 1826 blev skolen bygget om og fik bl.a. trægulve, pulte og bænke.
I 1910 byggede man en forskole ved Brøndevej med gymnastiksal i den ene ende. Det er den bygning, hvor børnehuset er i dag.
I 1999 blev den nyeste bygning indviet. Den rummer nu skolens klasser samt bibliotek.
Den 1. august 2016 blev en ny skolestruktur indført i Holbæk kommune, og Orø Skole blev sammen med afdelingerne Bjergmarkskolen og Absalonskolen del af Holbæk By Skole.
1. august 2021 blev skolestrukturen ændret igen og skolen er nu en del af Absalon og Orø Skole.