Ngôi chùa được xây dựng để lưu giữ xá lợi răng Phật linh thiêng, được cho là một trong những chiếc răng của Đức Phật Gautama đã viên tịch khoảng 2.600 năm trước. Chiếc răng được mang từ Trung Quốc vào năm 1994 và được triển lãm trong chùa trong 45 ngày để Phật tử Miến Điện tỏ lòng tôn kính. Được cất giữ cùng với di vật gốc là hai bản sao bằng ngà voi, một trong số đó vẫn được lưu giữ ở Swe Taw Myat ngày nay.
Ngôi chùa này là một tòa nhà lớn màu trắng được trang trí bằng vàng, được xây dựng giống với chùa Ananda cổ ở Bagan, được xây dựng vào cuối thế kỷ 11.
Swe Taw Myat là tòa nhà đối xứng với bốn cổng vào nhô ra khỏi cấu trúc chính. Cầu thang lên mỗi lối vào được bao quanh bởi một cặp Chinthe màu trắng và vàng, một sinh vật thần thoại trông giống như một con sư tử, ở Miến Điện thường thấy người canh gác ngôi đền. Trung tâm của cấu trúc bao gồm một số tầng có kích thước thu nhỏ lại, trên cùng là một sikhara sơn vàng và một ngọn tháp.
