张文远在晋阳一面胡萝卜，一面大棒，诛杀数百人，安定住整个太原郡。李渊的妹夫王裕最后也被处死，而其妹李氏，则被送往信都。
占领晋阳之后，张文远一面封锁攻占晋阳城的消息，一面准备继续领兵南下。而太原郡太守，则有黄明远的族叔黄沈担任（提前任命）。
黄沈今年五十三岁，原为易县令，黄明远平定河北之后，又担任赵郡郡丞，其女婿便是焦方威。
张文远乃留副总管辛文礼留守太原，帮着黄沈经营太原郡。
太原郡乃是河东第一大郡，辖十五个县，人口最盛时达十八万户。且此地在隋朝之后，直到北宋，都是叛乱兴起之地，于是黄明远听到攻破晋阳的消息之后，下令析太原郡东部七县为乐平郡，治于石艾（今山西省阳泉市平定县），以裴文肃为郡丞领郡事。
裴文肃乃是裴矩的侄子。
张文远和刘云芳则分兵两路南下，张文远率军进击西河郡，而刘云芳则向西进入离石郡。
离石郡原太守是杨广的族叔杨子崇。
杨子崇典卫出身，原来担任右侯卫将军，杨广北巡安北城时，杨子崇屡次劝请杨广早回京师。雁门之围后，恼羞成怒的杨广迁怒与杨子崇，于是以“子崇怯软，妄有陈请，惊动我众心，不可居爪牙之寄。”将他外放离石郡。
离石郡和旁边的延安郡，素来是稽胡的聚居地。
这些稽胡是匈奴别种，又称山胡、步落稽，源于南匈奴。史书记载这个民族贪而忍害，俗好淫秽。
稽胡自东汉时进入河东，已经成了河东、关北祸乱的重要源头。其部两次趁着中原王朝生乱建国，皆被攻灭。北周、北齐之时，更是多次生乱。包括名将韦孝宽、杨忠、豆卢宁、于谨、侯莫陈崇、李弼、宇文盛皆征讨过其部。
其最近的一次作乱是稽胡人参与到杨谅之叛，后被黄明远大肆屠杀。不过因为没有触及其根本，所以这些稽胡屡禁不止。历史上直到唐高宗时期，绥州（今陕西绥德）步落稽白铁余煽动百姓造反，攻占了城平县（今陕西清涧），自称光明圣皇帝，最后为王方翼（王裕之孙）剿灭，稽胡人才逐渐消失于历史之中。
天下生乱之后，先有延安郡的稽胡人刘迦论自称皇王，建元大世，与稽胡刘鹞子义军呼应。后刘迦论为屈突通击杀，屈突通斩杀胡军万余人，并虏老弱数万口，于上郡南山筑京观。而刘鹞子则溃逃入关中。
而在离石郡，刘龙儿自称天子，以其弟刘六儿为永安王，部众达数万，潘长文率兵讨伐，未能获胜。
之后这些稽胡的叛乱更大，新上任的太守杨子崇不得不上表请兵镇遏。杨广于是命杨子崇率兵镇压，杨子崇前后捕斩数千人。
李渊叛乱之后，诸胡之势更盛。杨子崇眼看郡内有稽胡，郡外又有李渊逆兵，难以抵御，便准备以朝集的名义，带着心腹数百人自孟门关（今山西省柳林县城西北孟门古镇）返回洛阳。
此时离石郡各县纷纷投降李渊，杨子崇前路断绝，难以前进，只得又返回郡治离石县，其部也多叛逃。
李渊派遣的大将石州总管张纶率军兵临城下，城中守军皆叛，而杨子崇也为乱兵所杀。
张纶占领离石郡，改离石郡为石州，以王俭为石州刺史，自引兵南下龙泉郡。
龙泉郡都尉李庆阳率部北上抵御，双方在蒲川水（今山西城川河）相持。
而刘云芳率部西进，正好抄了张纶的后路。
张纶本来手中只有数千人，占据离石，收拢了不少残兵，也不到万人，根本不可能在石州留多少人马。
王俭担任石州刺史，主要也是防备稽胡，手中只有两千人。
刘云芳自东而来，王俭的注意力却全在西面，因此毫无防备。刘云芳命人诈称从太原郡来的援兵，奉命支援张纶将军。王俭不备，遂打开城门相迎，正好为隋军所俘虏，于是刘云芳趁机入城。
离石县为隋军收复，使之又成了离石郡。
刘云芳以行军慰抚使崔义玄为郡丞领郡事，以虎贲卫副总管高元臻为讨捕使，清剿郡内的稽胡。崔义玄出身清河崔氏南祖崔溉支系。
刘云芳入太原时，黄明远便传信于他，令他务必扫清稽胡之患。即使耽误了南下，也得先清理干净稽胡。
稽胡人还保留着匈奴人的游牧习俗，其仰仗骑兵，四处流窜，往往隋军部队到达，其部早就流窜远去，因此清剿很是困难。
崔义玄与高元臻二人，上任之后，便派人严密封锁稽胡人聚居区的道路，不使一丁点物资流入稽胡，他们要困守稽胡人。
这一点果然打到稽胡的要害处。
稽胡本就被杨子崇打的，有些势弱。现在失掉了各种补给来源，根本难以维持生存。刘龙儿派兵四处掳掠，但皆为隋军所阻。
隋人多迁入城中，并且在大道设卡，堵塞交通。稽胡人既找不到普通汉民劫掠，又难以逾越各处关卡，想劫掠也困难。
于是刘龙儿被逼无奈，只得选择攻打县城，获取粮食。
刘龙儿带着稽胡人攻打定胡县（即孟门关），高元臻得信之后却不急着救援，而是派兵直袭稽胡人老巢，又下令定胡县坚守待援，利用城池吸