Sau khi Lý Uyên kiến lập triều Đường và củng cố Quan Trung, lực lượng có thể chống chọi với Lý Đường chỉ có hai thế lực lớn là của Vương Thế Sung và Đậu Kiến Đức, vì vậy Lý Uyên thừa thắng rời Quan Trung hướng thẳng phía đông bình định Trung Nguyên, thống nhất toàn quốc.
Không ngờ vào tháng 4 năm Vũ Đức thứ 2 đời Đường Cao Tổ (năm 619), Đột Quyết xúi giục Lưu Vũ Chu phát lệnh đánh Đường, tiến công Tiên Thứ (nay là Tiên Thứ thuộc tĩnh Sơn Tây), tập trung đánh Thái Nguyên. Quân Đường phải tăng viện mấy lần mà vẫn bị đại bại. Trấn giữ Thái Nguyên là Lý Nguyên Cát trong đêm dẫn bầu đoàn thê tử tháo chạy đến Trường An. Lưu Vũ Chu men theo phía nam Phần Thủy, Phổ Châu (Châu Trị nay thuộc Lâm Phần, Sơn Tây) tiến quân, hầu như không thành nào không phá. Tháng 10 lại qua Phổ Châu, Cối Châu (nay là Dực thành ở Sơn Tây). Cùng thời gian đó, một nông dân người Hạ Huyện tên là Lữ Sùng Mậu vì phản đối quân Tùy thực hiện vườn không nhà trống nên đã tập hợp quân khởi nghĩa cùng hưởng ứng với Lưu Vũ Chu. Vương Hành Bản trước cũng là Tùy tướng đang ở Bạc Bản cũng nhân cơ hội câu kết với Lưu Vũ Chu. Vì thế thành Hà Đông của nhà Đường trong phút chốc đã bị thất thủ.
Được tin Thái Nguyên thất thủ, Lý Uyên vô cùng kinh hãi: "Cường binh Phổ Dương có tới hàng vạn, lương thảo có thể dừng cả 10 năm, một nơi hưng thịnh như vậy mà phải mất vào tay bọn chúng" . Lại một Hà Đông, Quan Trung bị đe dọa, lòng người hoang mang nhụt mất chí phòng thủ. Lý Uyên thấy "quân đạo tặc mạnh như vậy thì ta khó lòng mà chống cự" , đành phải "hy sinh phía đông Hoàng Hà, thận trọng gìn giữ Quan Trung vậy", có vẻ như hy vọng thống nhất Trung Nguyên đã bị dập tắt.
Lý Thế Dân thì lại không chịu buông xuôi mà cho rằng chỉ cần nỗ lực giành giật lại Hà Đông để tranh thủ tình hình có lợi ban đầu là có thể giữ được. Đoạn, không ngại nguy hiểm, hăng hái xung phong: "Không lấy lại Hà Đông thì Quan Trung sau này cũng sẽ cùng chung số phận, càng không thể nói đến việc thống nhất đất nước. Nguyện xin dẫn 3 vạn tinh binh đi bắt Lưu Vũ Chu, dẹp tan quân đạo tặc, chiếm lại thành đã mất".
Đây là một trọng trách vô cùng nguy hiểm, gian khó mà hy vọng lại cực nhỏ, nhưng Lý Thế Dân vẫn quyết lợi dụng khoảng thời gian tháng 11 năm nay sông Hoàng Hà đóng băng, dẫn quân vượt qua sông đến đóng quân tại Bách Bích (nay là phía tây nam Tân Triết, tỉnh Sơn Tây) - nơi có thể trông thấy thuộc hạ của Lưu Vũ Chu là Tống Kim Cương mà phẫn nộ.
Tống Kim Cương vốn là thủ lĩnh một đội nghĩa quân hơn vạn người ở Dị Châu (nay là Dị Huyện, Hà Bắc) vừa bị Đậu Kiến Đức đánh bại nay quy hàng theo Lưu Vũ Chu. Hắn trở thành em rể của Lưu Vũ Chu, lần này xuống phía nam đánh quân Đường hắn luôn đi tiên phong, qua ải chém tướng dễ như trở bàn tay.
Lý Thế Dân thừa hiểu rằng đối với một kẻ thù hung mãnh như vậy, chỉ có thể bằng cách tranh thủ lúc có thời cơ thuận lợi mới có thể tiêu diệt; khinh suất manh động thì chỉ có thể là đi lại vết xe đổ. Vì vậy, sau khi định quân ở Bách Bích, chăm ngựa mài binh, sẵn sàng chiến đấu, chỉ cho bộ phận nhỏ binh mã ra quấy nhiễu, còn quân chủ lực kiên quyết không ra đánh, nằm im chờ cơ hội. Tống Kim Cương ra sức công thành nhưng Lý Thế Dân vẫn nằm im bất động, chỉ dùng cung bắn tên để đuổi lui quân địch.
Tháng 12, Lý Thế Dân ột đội quân dùng chiến thuật "địch tiến ta lùi, địch lùi ta tiến" liên tục gặp thuận lợi và giành thắng lợi liên tiếp. Tướng lĩnh nhà Đường sốt ruột phát ngứa chân tay, thi nhau thỉnh chiến. Lý Thế Dân lại nhận thấy thời cơ chưa đến nên bỏ ngoài tai tất cả và ra nghiêm lệnh nằm im tịnh thủ Bách Bích.
Mãi tới tháng 4 năm sau, Tống Kim Cương mặc dù có tinh binh mãnh tướng nhưng rồi nhuệ khí cũng giảm. Lương thực dự trữ trong kho đã hết, hiện hoàn toàn duy trì bằng cách đi cướp bóc, lại thấy Lý Thế Dân cố thủ không chịu đánh, không có cách nào giành thắng lợi sớm nên đành cho bọn Tầm Tương đi sau yểm trợ để tản về phía bắc. Khi đó Lý Thế Dân mới chụp lấy cơ hội phá cổng thành, quyết đánh không tha.
Lý Thế Dân đuổi kịp và đại phá quân Tầm Tương tại Lữ Châu (nay là Hoắc Huyện, tỉnh Sơn Tây). Sau đó không một phút chậm trễ, tiếp tục đuổi theo, một ngày đêm hành quân hơn 200 dặm, đánh hơn 10 trận lớn nhỏ. Đuổi đến Cao Bích Lĩnh (nay thuộc phía nam Linh Thạch, tỉnh Sơn Tây) thì quân Lý Thế Dân cũng hết lương thảo, sĩ tốt cũng mệt mỏi nhiều. Lưu Hoằng Cơ vội kéo dây cương ngựa của Lý Thế Dân nói rằng: "Đại vương đánh giặc, suốt từ phía bắc tới đây là đủ rồi còn định đuổi tiếp, không thiết sống nữa hay sao?! Hơn nữa quân sĩ đói mệt, cho dù thế nào cũng phải chờ lương thảo tới. Đợi quân sĩ no bụng có đủ dũng khí rồi đuổi tiếp cũng chưa muộn mà!". Nhưng Lý Thế Dân bảo: "Tống Kim Cương cùng đường tháo chạy, quân lính đang phân tâm. Phải biết rằng lúc này đang là cơ hội hiếm có để giành thắng lợi nhưng cũng dễ dàng bị tuột mất. Cơ hội đang ở trước mắt, đâu có thời giờ nghĩ đến chuyện mệt mỏi đói khát? Nếu chờ lương thảo tới, một khi cơ hội đã mất đi thì khi đó có hối cũng muộn rồi!". Nói rồi lại giục ngựa đuổi theo, đuổi đến Tước Thử Cốc (nay là Hiệp Cốc ở phía tây nam Giới Tức, tỉnh Sơn Tây), trong một ngày giao đấu với Tống quân 8 hiệp, bắt giết hơn