Bảo tàng được xây dựng theo thiết kế của kiến trúc sư người Pháp Delaval. Phần giữa tòa nhà có một khối bát giác (gợi nhớ quan niệm về bát quái của Kinh Dịch) có 2 nóc mái lợp ngó ống, có gắn vật trang trí hình phụng, hình rồng cách điệu. Trên cùng, là 4 quả cầu nhỏ dần và đặt chồng lên nhau. Vì vậy, có người cho rằng phần nóc mái này, mang nhiều yếu tố của kiến trúc cổ Trung Quốc.
Năm 1970, bảo tàng được xây dựng thêm phần phía sau một dãy nhà do kiến trúc sư Nguyễn Bá Lăng thiết kế. Dãy nhà có hình chữ U, ở giữa là hồ cây cảnh lộ thiên, hai dãy nhà nối hai bên, sau cùng là dãy nhà ba tầng với 2 lớp mái, có gắn đầu rồng kiểu gặm trang trí ở các góc mái. Nhờ các cửa đều hướng ra hồ cây cảnh, nên phòng trưng bày khá thoáng mát và sáng sủa.
