然而，起兵推翻隋朝在当时是一件“很危险”的举动，一旦被杨广的嫡系大臣发现，其后果可想而知。所以，刚开始李渊密谋起兵，只是在很小的范围内谋划，而李建成就是谋划参与人之一。

616年，李建成来到河东地区，联络各路诸侯共同起兵。617年，李渊和李建成共同起兵，李建成作为左军统帅，指挥大军参加了西河战斗、霍邑战斗，直至拿下潼关，和李世民一起占领长安。

霍邑战役初步体现出了李建成的军事才能。

攻下西河后，唐军在李建成和李渊的带领下向霍邑开进。部队走到半途中，下雨了，部队缺吃的，李渊让人紧急给部队运送军粮。

唐军官兵等待军粮，唐军高层对于下一步的作战行动发生了激烈的争执。有的将领认为，唐军应该继续前进，有的将领认为，唐军应该撤回太原。而李建成是继续前进的坚决支持者。