
Chùa được khởi công xây dựng vào ngày 5 tháng 8 năm 1956 theo bản vẽ của các kiến trúc sư Trần Văn Đường và Đỗ Bá Vinh, công trường xây dựng do các kỹ sư Dư Ngọc Ánh và Hồ Tố Thuận điều khiển. Chùa được hoàn thành vào ngày 2 tháng 5 năm 1958.
Chùa được xây dựng để thờ xá lợi Phật tổ nên ban đầu có tên là chùa thờ Xá Lợi, người dân quen gọi tắt là chùa Xá Lợi nên khi khánh thành hòa thượng Khánh Anh đã đặt tên chùa là Xá Lợi cho hợp lòng người.
Chùa là trụ sở chính của Hội Phật học Nam Việt từ năm 1951 cho đến năm 1981. Trong hai năm 1964-1966 chùa còn là cơ sở giảng dạy của Viện Đại học Vạn Hạnh. Từ năm 1981 đến tháng 5 năm 1993 chùa là trụ sở của Giáo hội Phật giáo Việt Nam (Văn phòng II).