有展现出过人的天分，靠着父亲的威名才得以加入学宫，从临漳学宫的档案可知，他是一个偏科的学生，对礼、乐、诗、书等均无兴趣，常言”小子无他志略，唯想效虞龙城、赵子苇立功异域，以获封君，安能久事笔砚间乎？“当时名声大躁的骑兵将领虞喜和赵葭给他很大的影响，其中赵葭还是柳子越在学宫时交往甚密的好友，在赵葭从军后，常与他书信来往。

父亲的功勋，好友的激励，以及当时崇尚“军功授爵”的大环境，使得柳下越