Năm Đại Nghiệp thứ 11 đời Tùy Dạng Đế, Lý Uyên nhậm chức quan đại sử yên dân ở vùng Sơn Tây, Hà Đông và phụng mệnh dẹp yên đạo tặc. Đối với bọn đạo khấu tầm thường như Vô Đoan Nhi hay Kính Bàn Đà... thì chỉ cần một cái phẩy tay mà không hề tổn hao công sức, nhưng đối với quân Đột Quyết ở phía bắc, vì chúng có kỵ binh tinh nhuệ giỏi cưỡi ngựa bắn cung thì lại khiến Lý Uyên rất đau đầu, đã nhiều lần giao chiến mà thắng thì ít, thua thì nhiều. Quân Đột Quyết rất ngang ngược, không biết sợ là gì nên Lý Uyên luôn coi chúng là kẻ thù không đội trời chung.
Năm 616, Lý Uyên được sắc phong làm quan trấn thủ ở Thái Nguyên, quân Đột Quyết lại đang dùng hàng vạn binh mã tấn công vào thành trì Thái Nguyên, Lý Uyên đã phải sai bộ tướng Vương Khang Đạt dẫn hơn ngàn quân ra nghênh chiến mà vẫn thất bại thảm hại. Về sau phải khéo léo dùng kế nghi binh mới đuổi lui được quân Đột Quyết. Đáng ghét hơn là bọn đạo khấu Lưu Vũ Chu bất thình lình tiến đánh cung Phần Dương do Lý Uyên quản (là một trong những cung Tùy Dạng Đế hay di giá tới), bọn chúng còn bắt phụ nữ trong cung để dâng tiến cho Đột Quyết. Người Đột Quyết liền phong cho Lưu Vũ Chu làm Định Dương Khả hãn. Ngoài ra còn có bọn Quách Tử Hòa, Tiết Cử được sự ủng hộ và bao che của Đột Quyết nên thi nhau khởi binh gây chuyện, Lý Uyên phòng ngự một cách yếu ớt và lúc nào cũng có thể bị Tùy Dạng Đế mượn cớ không hoàn thành nhiệm vụ để lấy đầu.
Ai cũng nghĩ Lý Uyên ôm mối thù khắc cốt ghi xương sẽ quyết một trận sống còn với Đột Quyết. Không thể ngờ rằng Lý Uyên lại ưu sĩ là Lưu Văn Tịnh làm sứ giả sang bên Đột Quyết để xin làm bề tôi, còn hứa đem gái đẹp và ngọc ngà châu báu sang để tặng cho Khả hãn Thủy Tất.
Đến con trai của Lý Uyên cũng cảm thấy bị sỉ nhục trước hành vi nhượng bộ khúm núm của ông ta. Lý Thế Dân sau khi đã được kế vị ngôi vua vẫn chưa thể nào quên nỗi nhục đó: "Quân Đột Quyết ngang ngược, Thái Thượng hoàng (chính là Lý Uyên)... xưng thần với chúng, trẫm chưa có lúc nào thôi đau lòng!".
Lý Uyên thì "mọi người đều say, riêng một mình ta tỉnh", ông ta có kế hoạch riêng của mình, khúm núm nhượng bộ tuy bộ dạng hơi khó coi một chút nhưng có thể nhẫn nhịn, có thể tồn tại mới trở thành đại trượng phu.
Thì ra Lý Uyên đã căn cứ tình hình chung mà dứt khoát quyết định khởi binh phản Tùy. Thái Nguyên là một trọng điểm quân sự nhưng vẫn chưa phải là nơi lý tưởng để xây dựng cơ đồ vì thế muốn khởi binh thành một phong trào lớn bắt buộc phải tiến về phía tây vào Quan Trung. Đã vào đến Quan Trung thì Thái Nguyên lại là căn cứ địa không thể mất của đạo quân Lý Đường. Vậy phải làm thế nào mới có thể vừa giữ được Thái Nguyên vừa tiến công về phía tây một cách thuận lợi?
Lúc bấy giờ binh tướng trong tay Lý Uyên không quá 3- 4 vạn người, cho dù có dốc toàn bộ lực lượng để giữ Thái Nguyên, ứng phó sự gây chiến bất kỳ lúc nào của Đột Quyết, đồng thời lại phải truy dẹp bọn đạo khấu vốn được sự nâng đỡ của Đột Quyết thì cũng đã sức tàn lực kiệt. Chưa kể nếu tiến đánh Quan Trung thì hiển nhiên không thể giữ quân ở lại để trấn thủ Thái Nguyên. Vì vậy biện pháp duy nhất là phải áp dụng chính sách cầu hòa, để cho Đột Quyết "ngồi mát ăn bát vàng" . Cho nên Lý Uyên đã không đắn đo nhượng bộ tự xưng làm ngoại thần, đích thân viết bức thư tay rằng: "Muốn đại cử nghĩa binh nghênh tiếp chúa thượng, lại muốn xin hòa với quý quốc như thời Văn Đế vậy. Đại hãn mà chịu đem quân tới tiếp ứng giúp ta hành sự ở phía nam thì thật may cho bách tính thoát khỏi nạn binh đao. Nếu chấp nhận hòa thì có thể ngồi không mà hưởng châu báu, đó chính là số mệnh của đại hãn". Lý Uyên thỏa thuận với Đột Quyết cùng định kinh sư, đất đai thuộc về Đường công còn gái đẹp và lụa là châu báu thì dâng cho Khả hãn.
Lùi một bước thấy biển rộng trời cao. Khả hãn Thủy Tất hám lợi quả nhiên đã hòa hảo với Lý Uyên. Trong khoảng thời gian khó khăn nhất của Lý Uyên là lúc từ Thái Nguyên tiến vào Trường An, ông ta chỉ để Lý Nguyên Cát - con trai thứ ba của mình với một số ít binh mã ở lại chốt giữ Thái Nguyên, lại từ chỗ đang bị Đột Quyết xâm chiếm nay bọn Lưu Vũ Chu (trước vốn ỷ thế Đột Quyết làm càn) cũng đã bớt gây chuyện đi nhiễu. Lý Nguyên Cát vì thế mà đã có thể liên tục chuyển người và lương thảo từ Thái Nguyên ra tiền tuyến. Cho đến năm 619, khi Lưu Vũ Chu đánh Phổ Dương thì Lý Uyên đã kịp thiết lập nên vương triều nhà Đường tại Quan Trung. Lúc này vua Đường không những đã