高祖刘邦斩白蛇起义便发生在芒砀山，芒砀山也因此闻名于世。中国第一位农民起义领袖陈胜亦埋葬于此；孔夫子在此避雨讲学留下了夫子崖、夫子山等景观。东汉末年，曹操设“摸金校尉”及“发丘将军”盗取及发掘永城芒砀山山上的汉梁王墓群72船宝物。刘备、张飞等曾与曹操争夺徐州，张飞败走后据守芒砀山，并筑寨拒曹，至今山寨仍存有两余米的石墙。

唐代，薛仁贵“一马扑到黑风口，三箭射下凤凰城”，留下砀城神奇的传世