Ngày 28 tháng 2 năm 1946, Pháp ký với chính quyền Tưởng Giới Thạch hiệp ước để quân Pháp được ra Bắc giải giáp quân Nhật thay Tưởng, đổi lại Pháp nhượng bộ 1 số quyền lợi ở miền Bắc và trả lại các tô giới cùng nhượng địa ở Trung Quốc (vốn tạo lập từ thế kỷ 19). Chính phủ Việt Nam Dân chủ cộng hòa bị gạt sang một bên do chưa được quốc gia nào công nhận.
Ban Thường vụ TW 3 Đảng cộng sản Đông Dương (đã lui vào hoạt động bí mật) nhận định nếu Pháp cho Đông Dương tự trị theo tuyên bố ngày 24 tháng 3 năm 1945 (thực tế là hình thức thuộc địa y như cũ) thì kiên quyết đánh, nhưng nếu cho Đông Dương tự chủ thì hòa để phá tan âm mưu của “bọn Tàu trắng, bọn phản động Việt Nam và bọn phát xít Nhật còn lại”.
Nhận định rằng chống lại cùng lúc quân Pháp và Trung Hoa Dân quốc là rất khó khăn, và cần thời gian để xây dựng lực lượng, chính phủ Việt Nam quyết định đàm phán với Pháp và ký Hiệp định sơ bộ ngày 6 tháng 3. Các điều khoản chính là:
1) Chính phủ Pháp công nhận nước Việt Nam Dân chủ Cộng hòa là một quốc gia tự do trong Liên bang Đông Dương và trong khối Liên hiệp Pháp, có chính phủ, nghị viện, quân đội và tài chính riêng.
2) Chính phủ Việt Nam Dân chủ Cộng hòa đồng ý cho 15.000 quân Pháp vào miền Bắc thay thế cho 200.000 quân Trung Hoa Quốc dân đảng để làm nhiệm vụ giải giáp quân Nhật. Pháp hứa sẽ rút hết quân trong thời hạn 5 năm, mỗi năm rút 3.000 quân.
3) Pháp đồng ý thực hiện trưng cầu dân ý tại Nam Kỳ về việc thống nhất với Việt Nam Dân chủ Cộng hòa.
4) Hai bên thực hiện ngưng bắn, giữ nguyên quân đội tại vị trí hiện thời để đàm phán về chế độ tương lai của Đông Dương, quan hệ ngoại giao giữa Việt Nam Dân chủ Cộng hòa và nước ngoài và những quyền lợi kinh tế và văn hóa của Pháp ở Việt Nam.
Quyết định “thuận nước đẩy thuyền” này được đa số thành viên chính phủ tán thành, trừ hai đảng Việt Quốc và Việt Cách vì có quan hệ khăng khít với quân Tưởng. Tuy nhiên với Pháp thì đây chỉ là thủ thuật để đưa quân ra Bắc hợp pháp mà không bị cản trở, họ quyết tâm lập lại chế độ thuộc địa ở Đông Dương bằng việc vẽ ra chính phủ Nam Kỳ Quốc ngày 1 tháng 6 mà không hề có trưng cầu dân ý gì, chính thức xé bỏ hiệp định.
