Công trình xây dựng vào năm 1933, có tới 25 phòng bài chí rất sang trọng. Dinh II là dinh thự mùa hè của Toàn quyền Đông Dương Jean Decoux, nên còn gọi là dinh Toàn quyền. Dinh II là nơi ở và làm việc của Jean Decoux vào mùa hè hàng năm, từ tháng 5 đến tháng 10.
Để bảo đảm an toàn tuyệt đối cho bản thân và gia đình, toàn quyền Jean Decoux đã cho xây dựng những đường hầm bí mật và kiên cố. Thời kỳ tổng thống Ngô Đình Diệm, Dinh II là nơi nghỉ mát của gia đình Ngô Đình Nhu và vợ là Trần Lệ Xuân. Tướng Nguyễn Khánh cũng chọn Dinh II làm Tổng hành dinh trong mùa nghỉ mát.