到了近一万人的军队，《资治通鉴》记载，“旬月间近万人”。

与此同时，李渊急忙召集所有的儿女。当时，李渊的众多儿女，只有老二李世民留在身边，其余的子女都分散在各地。既然决定起兵，李渊当然要把孩子们召集到一块儿，打虎亲兄弟，上阵父子兵。于是，李渊连忙催促长子李建成、四子李元吉，以及女婿柴绍，火速赶回太原。

在李渊众多的子婿中，柴绍的妻子正是李渊的第三女，后来著名的“平阳昭公主”，赫赫有名的“娘子军”的缔造者。这位公主，也是中国历史上唯一一个死后拥有独立谥号的公主，她为唐王朝的建国，也是立下了汗马功劳。

柴绍当时接到岳父李渊的命令，要他火速赶回太原。不得已，柴绍只能和妻子依依惜别。临行前，柴绍对妻子说：

尊公将扫清多难，绍欲迎接义旗；同去则不可，独行恐罹后患，为计若何？

别看平阳公主是一介女流之辈，这个时候却顾全大局，对丈夫说：“君宜速去。我一妇人，临时易可藏隐，当别自为计矣。”意思是说，你赶紧走，我一个妇道人家，到哪不能藏身，况且我也有别的打算。夫妻二人在简短的告别之后，柴绍便启程前往太原。而平阳公主独自一人回到鄠县庄园，散尽家财，招募山中亡命之徒，拉起了一支数百人的队伍，起兵响应父亲李渊。

到后来，李渊率军挺进关中的时候。平阳公主率领麾下义军，也一路势如破竹，连下周至、武功、始平等地，严格军纪，秋毫无犯，部下已有七万之众。直至，李世民率领右路军直取长安，平阳公主率部与李世民会师于渭北，姐弟二人兵合一处，将打一家，两路大军，直取长安。

所以，能够看出，李渊一家，真可谓是一门龙凤。儿郎是济世安民的少年英雄，女儿更是巾帼不让须眉的女中豪杰。有这样的英雄儿女，怪不得李渊最后可以一路挺进关中，最终定鼎长安，开创大唐基业。

李建成和李元吉兄弟二人，在返回太原的路上，正好与柴绍不期而遇。于是，李建成、李元吉、柴绍三人，于大业十三年(617年)六月，全部抵达太原。这样一来，李家父子全部集结完毕。

从目前的态势来看，李渊似乎是万事俱备，只欠东风。那么，这个时候，李渊真的能正式起兵吗？不能。因为李渊当时还存在着一个严重的后顾之忧，那就是突厥问题。所以，李渊在正式起兵之前，必须要解决突厥问题。

自从雁门之围后，隋朝与突厥的关系正式破裂，突厥经常出兵南下侵扰隋朝的北部边境。