يعتبر بيت الرفاعي من الآثار التاريخية بجزيرة فرسان، وقد شيد المنزل تاجر اللؤلؤ أحمد منور الرفاعي يرحمه الله، الذي كان أحد أكبر تجار فرسان قديماً. ويعتبر هذا المنزل من الآثار التاريخية، التي جعلت من فرسان مركز جذب سياحي وتاريخي لتميزه بالأشكال الهندسية المتنوعة، والنقوشات والفنون المعمارية القديمة التي ظلت على حالها منذ عام 1341 أي مايقارب 95عاماً. تميز هذا المنزل على غيره في الجزيرة، ليصبح معلم من معالمها المهمة، ويقدر إرتفاعه ب 6 أمتار، لم يتميز هذا المنزل بسبب تجارة مالكه من اللؤلؤ، حيث كان يصدره إلى سورية والهند وباكستان وفرنسا وبريطانيا ليجعل لمنزله من هذه التجارة اشكال جمالية ونقوشات قرانية على جدرانه .إختلفت معالم هذا المنزل التاريخي بسبب الإهمال وأصبح مرمى للنفايات، وقد شيد من يسكن بجواره المنازل لتضييع هويته. المدائن التقت أحد من يسكن بجوارالمنزل التاريخي، وقد عبر عن حزنه لضياع هوية قصر الرفاعي، كما أسماه بسبب الإهمال من هئية السياحة والاهالي المجاورين له .الجدير بالذكر أنه يوجد طبق لهذا المنزل بالرياض، ويستطيع رؤيته كل من يزور قرية جازان التراثية بالجنادرية بنفس المعالم والنقوشات.