Vào thời điểm này, nghĩa quân của ông rơi vào thế "thế gọng kìm" vô cùng nguy hiểm, cùng lúc phải đối mặt với lực lượng của Trần Hữu Lượng và Trương Sĩ Thành.
Lưu Bá Ôn đã đề xuất chiến lược tránh hai mặt trận và tiêu diệt mỗi bên, giúp Chu Nguyên Chương tiêu diệt Trần Hữu Lượng trước, tiếp theo là Trương Sĩ Thành, sau đó tiến quân lên phía bắc đánh Nguyên Mông và thống nhất Trung Quốc.
Lưu Bá Ôn đã có công lớn trong việc thành lập nhà Minh, là quân sư đầu tiên của nhà Minh và được Chu Nguyên Chương nhiều lần gọi là " Tử Phòng của ta". (Tử Phòng chính là Trương Lương, mưu sĩ của Lưu Bang, được xếp vào hàng ngũ 10 đại quân sư kiệt xuất nhất lịch sử phong kiến Trung Quốc).
Mặc dù Lưu Bá Ôn đóng vai trò quan trọng trong việc lập nên nhà Minh và được Chu Nguyên Chương đánh giá cao, nhưng vị trí của ông lại không nổi bật trong số các công thần khai quốc.
Đầu thời Minh, ông giữ chức vụ Ngự sử trung thừa kiêm Thái sư lệnh. Thái sư lệnh phụ trách các vấn đề thiên văn và khí tượng; Ngự sử trung thừa là quan giám sát Chánh Tam Phẩm, đều là những chức vụ không có thực quyền.
Hai năm sau khi thành lập nhà Minh, Chu Nguyên Chương đại phong các công thần, Lưu Bá Ôn được phong lên làm Hoằng Văn Quán học sĩ, Tư Thiện đại phu, Thượng hộ quân, tuy nhiên tất cả đều chỉ là hão danh.
Ông hưởng bổng lộc 240 thạch, trong khi Hán Quốc công Lý Thiện Trường hưởng 4200 thạch, hơn ông gấp gần 20 lần.
Về vấn đề này, người dân thời bấy giờ và cả sau này đều đã có rất nhiều suy đoán. Xét cho cùng, chức vụ của Lưu Bá Ôn không hề tương xứng với những đóng góp của ông.
Có người cho rằng vì Lưu Bá Ôn quá mạnh nên Chu Nguyên Chương có chút kiêng dè. Có người lại cho rằng Lưu Bá Ôn có xuất thân khá cao và cũng từng làm quan cho triều Nguyên, nên Chu Nguyên Chương cho rằng vì có thể phản bội triều Nguyên thì hoàn toàn có thể phản bội chính mình.
Cũng có người nói Lưu Bá Ôn là đại diện cho "phái Chiết Đông" trong triều đình thời kỳ đầu nhà Minh và đã không hợp với "phái Hoài Tây" của Chu Nguyên Chương và Lý Thiện Trường, bởi vậy Chu Nguyên Chương cố tình trấn áp ông.
Lại có một số người cho rằng Lưu Bá Ôn không phải thành viên nòng cốt của phía Chu Nguyên Chương, chỉ là giúp đỡ giữa chừng, lai lịch còn kém...
Những suy đoán trên đều có ý đúng, nhưng có lẽ tất cả đều đã qua một vấn đề then chốt, đó là sau khi thành lập nhà Minh, Lưu Bá Ôn không muốn Chu Nguyên Chương trọng dụng mình, điều này đã gây ra những khúc mắc cho Chu Nguyên Chương.
Không lâu sau khi thành lập nhà Minh, Chu Nguyên Chương muốn Lưu Bá Ôn thay Lý Thiện Trường làm thừa tướng, Lưu Bá Ôn nhiều lần từ chối, cho rằng Lý Thiện Trường như một cái cây lớn, có thể điều phối quan binh, còn bản thân mình chỉ giống một cái cây nhỏ, khó có thể chịu được áp lực.
Sau này Lý Thiện Trường từ quan quy ẩn, Chu Nguyên Trương muốn Dương Hiến làm tể tướng, liền hỏi ý kiến của Lưu Bá Ôn, ông nói rằng Dương Hiến có tài làm tướng, nhưng không có đủ lực làm tướng.
Chu Nguyên Chương hỏi về Uông Quảng Dương và Hồ Duy Dung, Lưu Bá Ôn cũng cho rằng họ không đủ tiêu chuẩn để làm tể tướng, một người không đủ rộng lượng, một người quá to gan.
Chu Nguyên Chương thấy có lý, đầy hi vọng nói: "Thừa tướng của ta, thực sự chỉ có tiên sinh là thích hợp nhất thôi".
Lưu Bá Ôn lại cho rằng bản thân không thích hợp làm tể tướng, bởi ông quá chính trực, quan hệ không tốt, lại không muốn lo nghĩ nhiều đến chính sự, vì vậy từ chối lời đề nghị của Chu Nguyên Chương.
Có lẽ câu trả lời của Lưu Bá Ôn đã khiến Chu Nguyên Chương hết sức thất vọng, muốn giao ngươi trọng trách, ngươi lại không nhận, "sợ rườm rà sợ mệt mỏi" là lý do để từ chối hoàng đế? Ngươi thanh bạch liêm khiết, có tiếng tốt, lẽ nào trong lòng còn có suy tính khác?
Chu Nguyên Chương là người đa nghi, trong lòng rất khó chịu khi bị Lưu Bá Ôn từ chối một lần nữa. Vì vậy, chờ đến khi đại lễ sắc phong quân thần, Chu Nguyên Chương cố ý hạ thấp chức vụ của Lưu Bá Ôn, chính là "Rượu mừng không uống muốn uống rượu phạt!"
Kết cục cuối cùng
Cuối cùng, so với những công lao của Lưu Bá Ôn, việc xếp vị trí thứ 105 trong số các quan thần quả thực là quá thấp. Lưu Bá Ôn làm vậy có lẽ vì đã dự đoán trước việc Chu Nguyên Chương sẽ giết hàng loạt các công thần, nên cố gắng khiêm tốn nhất để có thể chừa đường lui cho mình.
Sau khi được phong tước, ông chỉ ở lại kinh thành một năm, đến năm Hồng Vũ thứ 4 thì từ quan. Nhưng vào cuối tháng 1/1375, Lưu Bá Ôn ở quê nhà bị bệnh, Chu Nguyên Chương biết chuyện đã cử Hồ Duy Dung cùng ngự y đến chữa trị cho Lưu Bá Ôn.
Không ngờ sau khi uống thuốc, Lưu Bá Ôn như bị đá đè bụng, bệnh tình nặng thêm. Biết được lý do, Lưu Bá Ôn vội vã đến Bắc Kinh báo cáo tình trạng của mình cho Chu Nguyên Chương, mục đích để cầu xin Chu Nguyên Chương tha cho ông. Nhưng hoàng đế Minh triều khi đó chỉ nhắc ông giữ sức khỏe mà không hứa hẹn gì.
Biết rằng không còn đường sống, Lưu Bá Ôn liền rời kinh đô trở về quê, từ chối mọi điều trị và chờ đợi giây phút cuối cùng.
Ngày 16/4 năm Hồng Vũ thứ 8, Lưu Bá Ôn qua đời vì bệnh ở quê nhà, hưởng thọ 65 tuổi.
Mặc dù ông qua đời không phải do Chu Nguyên Chương hạ lệnh giết, nhưng Hoàng đế nhà Minh cũng có liên quan lớn. Suy cho cùng, một đời làm mưu thần cuối cùng cũng không thoát được số kiếp "chim chết cung cũng bị phế bỏ".