Từ thời Tần Thủy Hoàng, Quan Trung đã bắt đầu trở thành một trung tâm chính trị, quân sự, kinh tế, văn hóa của cả nước. Sau này Hán Cao Tổ Lưu Bang cũng vì chọn Quan Trung làm nơi thống lĩnh thiên hạ rồi đánh dẹp phía đông nên đã thống nhất được toàn quốc. Nhà Tùy dựng kinh đô ở Trường An rõ ràng cũng coi Quan Trung là nơi căn bản để lập quốc.
Năm 617, Tùy Dạng Đế lại đi tuần phương Nam, Quan Trung bị bỏ ngỏ, lực lượng quân sự ở kinh đô và các vùng lân cận đều rất yếu mỏng, nhà vua và đa số quan lại triều đình đều đi đến Dương Châu - đây đúng là một thời cơ đánh chiếm Quan Trung ngàn năm có một. Phe cánh của Lý Uyên từ lâu đã muốn sáng lập vương triều mới dễ gì chịu ngồi yên để lỡ mất một cơ hội tốt. Họ đã bất chấp rằng mình vừa khởi binh xong thì lực lượng đã bị yếu đi nhiều, bắt đầu khởi hành từ Thái Nguyên tiến quân về Quan Trung với tốc độ nhanh nhất.
Những khó khăn gian khổ và những nguy cơ bị phục binh ở khắp mọi nơi không lời nào kể xiết. Phía trước thì có quân phục kích được phái đi từ Trường An, lại thêm cái rãnh trời Hoàng Hà, xung quanh là quân khởi nghĩa và thế lực của các chư hầu đều mạnh hơn lực lượng của ông rất nhiều - họ cũng đều có ý đồ giành chiếm Quan Trung để thống lĩnh thiên hạ, căn cứ địa hậu phương là thành Thái Nguyên thì lực lượng nhỏ nhoi cô độc, phía bắc lại đối mặt với thế lực của Đột Quyết và Lưu Vũ Chu... mỗi một nguy cơ bùng nổ đều có thể khiến cho kế hoạch lâu dài tiến quân vào Quan Trung của Lý Uyên bị thất bại nửa chừng, Lý Uyên trong lòng rối như tơ vò bởi trăm mối lo.
Điều thần kỳ mà Lý Uyên hy vọng đó là thời gian, ông ta hy vọng bằng cách hành động thật nhanh chóng thì có thể bù đắp cho sự thiếu thốn vế lực lượng và về mọi phương diện khác nữa. Không ngờ trời chẳng chiều ý người, khi bọn họ tới Giả Hồ Bảo định tiến công thị trấn quân sự Hoắc ấp (cách Giả Hồ Bảo chỉ hơn 50 dặm) thì trời mưa triền miên. Đường sá lụt lội rất khó hành quân và bắt đầu có dấu hiệu thiếu lương thực. Lại thêm một tin dữ: Lưu Vũ Chu câu kết với Đột Quyết sẽ lợi dụng sơ hở mà tiến đánh vào sào huyệt của Lý Uyên.
Lý Uyên ngước cổ nhìn lên trời mà than rằng: "Xem ra thời cơ vẫn chưa chín, đành phải lui quân về phía bắc!". Bùi Tịnh và những người khác đều tán đồng với ý kiến lui quân của Lý Uyên, họ cho rằng quân Tùy phái đại tướng vừa giữ Hà Đông, lại vừa khống chế được Hoắc ấp sau đó sẽ liên binh cùng dựa vào nơi hiểm yếu để cố thủ chờ đối phương đuối sức, nên quân ta không thể tiến quân nhanh chóng dễ dàng được, chỉ có thể lui quân về Hà Nam. Mà người bạn đồng minh của chúng ta Lý Mật ở phía đông tâm địa khó lường. Con người Đột Quyết tham lam khó mà tin tưởng, cho dù trước khi khởi binh chúng ta đã nhún mình nhượng bộ làm hòa với hắn nhưng ai dám bảo đảm rằng hắn sẽ giữ tín nghĩa mà ngày hôm sau không trở mặt? Lưu Vũ Chu vốn là kẻ lòng dạ đi theo Đột Quyết, nhân lúc người ta gặp nạn mà ném đá lấp cửa hang là thói mà hắn quen làm. Thái Nguyên là căn cứ địa duy nhất của chúng ta, hơn nữa gia quyến các tướng sĩ đều ở cả nơi đó. Vì thế chi bằng hãy lui quân bảo vệ căn cứ địa, chuyện lớn đợi sau này bàn tiếp vậy. Cuối cùng Lý Uyên đã quyết định ngày hôm sau sẽ thực hiện kế hoạch thoái binh.
Lý Thế Dân hay tin rút quân thì vô cùng sợ hãi, vội vàng tìm đến cha hỏi cho rõ với giọng rất phấn khích. Lý Uyên trong lòng hoài nghi lo lắng nên mập mờ thoái thác rằng: "Lương thực sắp hết, khó mà cầm cự tiếp được". Lý Thế Dân khuyên rằng "Bây giờ lúa ngô đầy đồng, làm sao có thể thiếu lương thực? Tùy tướng Tống Lão Sinh đang trấn giữ Hoắc ấp thì quá yếu, hễ đánh là thắng liền. Lý Mật đang có được kho lương thảo lớn là Lạc Khẩu chắc sẽ không đến tranh giành với ta. Lưu Vũ Chu và Đột Quyết vẻ ngoài nói hòa hảo nhưng thực tế trong lòng hoài nghi lẫn nhau. Lưu Vũ Chu tuy rằng muốn tranh giành Thái Nguyên với ta nhưng lại sợ căn cứ địa Mã ấp của mình sẽ bị Đột Quyết thừa cơ chiếm mất nên sẽ không dám khinh suất mà hành động bừa. Đột Quyết thì vừa làm hòa với ta cũng không đến nỗi phá bỏ hiệp ước ngay lập tức. Càng quan trọng hơn nữa là ý chí lớn trong đầu chúng ta muốn xây dựng một đại nghiệp mới. Đã có chí cầu dân lập quốc thì nên vào Hàm Dương trước để thống lĩnh thiên hạ. Nếu bây giờ vừa gặp trở ngại nhỏ đã vội thu quân thì chỉ e rằng các tướng sĩ vừa lấy được khí thế nay vì thế mà nhụt ý chí, đại sự hóa ra cũng chỉ là một giấc mơ đẹp mà thôi!".
Ý kiến của Lý Thế Dân không thắng nổi sự phản đối của đám mưu thần Bùi Tịnh, Lý Uyên vẫn quyết định rút quân. Lý Thế Dân chán nản buồn phiền ăn không ngon ngủ không yên, đến trước cửa trướng