僚世家，父徐鏓，母亲为侍女小妾，少年时便天才超逸，入了徐氏私塾读书，“六岁受《大学》，日诵千余言”“书一授数百字，不再目，立诵师听。”十岁便仿扬雄《解嘲》作了一篇《释毁》，性格豪放，“指掌之间，万言可就。”二十岁时成为生员，嘉靖二十年（1541年）娶同县潘克敬女为妻，接下来八次应试不中，“再试有司，皆以不合规寸，摈斥于时。”

中年的徐渭因为明朝官场的倾压，受胡宗宪的严嵩案牵连，被入狱几次