在623年。当年4月，吐谷浑族人联合党项族人侵犯位于今天甘肃的洮、岷二州，柴绍率军前往驱阻。6月29日，柴绍军在岷州被吐谷浑围困一处山谷之中。吐谷浑军居高临下，箭发如雨，唐军将士惊慌不已，柴绍却临危不惧。他安坐战阵之前，让人弹起胡琵琶，又找来两名女子翩翩对舞。吐谷浑士卒被这突然而来的音乐和歌舞弄糊涂了，不知柴绍在玩什么把戏，放下弓箭，站在高处驻足观瞧。柴绍却悄悄地调遣精骑，从侧路绕到吐谷浑军背后，突然袭击，使吐谷浑军一下子乱了阵脚，战死500多人，溃败而去。一个多月后，吐谷浑归附唐朝。

643年，在柴绍去世五年后，唐太宗李世民为纪念当初同打天下的众位功臣，命画家阎立本在凌烟阁内绘制了24位功臣图像，即《凌烟阁二十四功臣图》，其中柴绍排在第14位。其余在《隋唐演义》中活跃的人物，魏徵排第4，尉迟恭排第7，程咬金排第19，秦琼排第24。