小学这个称呼很古老，周朝早已有之，开始并不指后世读书的小学，而是指文字学，周朝儿童入学，首先学六甲六书（六甲指儿童练字用的笔画较简单的六组以甲起头的干支。六书即指事、象形、形声、会意、转注、假借），所以从前把文字学称小学，“小学”之名即由此而得。

相对于小学，还有一个叫大学，大学作为一种具有高等教育职能的机构，可以追溯到五帝时期的成均和上庠。

董仲舒曰：“五帝名大学曰成