石洞书院于南宋绍兴八年(1148)年创办，曾延聘理学大家叶适执掌师席。朱熹、吕祖谦、魏了翁、陈傅良、陆游等先后慕名而来，或讲学论道，或切磋交流，并留下诸多题识诗篇。而理学祖师朱熹曾四次来东阳，客居东阳，在这里改定《大学章句集注》，删正《诚意章句集注》，还在书院东北石壁上留下了“石洞之门”四个篆书大字。书院名闻遐迩，山东、江西、安徽、江苏、湖南及省内宁波、天台、金华、衢州各地都有学生来就读。宋、元、明时，书院边修边用，一直延办，直至明朝中叶，朝廷令毁书院，石洞书院才不得不停办而荒芜于荆蔓之中。