离石郡和旁边的延安郡，素来是稽胡的聚居地。

这些稽胡是匈奴别种，又称山胡、步落稽，源于南匈奴。史书记载这个民族贪而忍害，俗好淫秽。

稽胡自东汉时进入河东，已经成了河东、关北祸乱的重要源头。其部两次趁着中原王朝生乱建国，皆被攻灭。北周、北齐之时，更是多次生乱。包括名将韦孝宽、杨忠、豆卢宁、于谨、侯莫陈崇、李弼、宇文盛皆征讨过其部。

其最近的一次作乱是稽胡人参与到杨谅之叛，后被黄明远大肆屠杀。不过因为没有触及其根本，所以这些稽胡屡禁不止。历史上直到唐高宗时期，绥州步落稽白铁余煽动百姓造反，攻占了城平县，自称光明圣皇帝，最后为王方翼剿灭，稽胡人才逐渐消失于历史之中。

天下生乱之后，先有延安郡的稽胡人刘迦论自称皇王，建元大世，与稽胡刘鹞子义军呼应。后刘迦论为屈突通击杀，屈突通斩杀胡军万余人，并虏老弱数万口，于上郡南山筑京观。而刘鹞子则溃逃入关中。

而在离石郡，刘龙儿自称天子，以其弟刘六儿为永安王，部众达数万，潘长文率兵讨伐，未能获胜。

之后这些稽胡的叛乱更大，新上任的太守杨子崇不得不上表请兵镇遏。杨广于是命杨子崇率兵镇压，杨子崇前后捕斩数千人。

李渊叛乱之后，诸胡之势更盛。杨子崇眼看郡内有稽胡，郡外又有李渊逆兵，难以抵御，便准备以朝集的名义，带着心腹数百人自孟门关返回洛阳。

此时离石郡各县纷纷投降李渊，杨子崇前路断绝，难以前进，只得又返回郡治离石县，其部也多叛逃。