اسم عمارت حکومتی بندر بوشهر و آن عمارتی است که در چهار ضلع آن چهار برج ساخته و بهمین مناسبت به این اسم موسوم گردیده است . شیخ نصرخان از طایفه آل مذکور که سمت مصاهرت مرحوم حسنعلی میرزای فرمانفرما ولد خاقان خلدآشیان فتحعلی شاه طاب ثراه را داشته و هنوز از خانواده او دربندر بوشهر هستند این عمارت را در عهد خاقان مغفور مبرور بنا نموده است و بعد خرابی بهمرسانیده در عهد ناصرالدین شاه سنگ بستی در کنار مرداب که غاوی مینامند ساخته شده و مخارج بسیاری کرده اند و دهنه چاربرج گردیده . در زمان حکومت مرحوم مویدالدوله طهماسب میرزا ولد مرحوم محمد علی میرزا بالاخانه ای رو به غاوی ودوبری شهر بنا نموده اند که در حقیقت یک ضلع یعنی یک برج از این چهار برج محسوب میشود و تقریباً منزل شخصی حاکم بندر بوشهر همان بالا خانه است : در تاریخ فارس تالیف میرزا جعفرخان خورموجی در ذکر بندر بوشهر مسطور است ، «که در اواخر دولت نادری شیخ ناصرخان ابومهیری که از اعراب نجد و در جهازات نادرشاهی ناخدایی با اعتبار بود شهر را بانی و صاحب اختیار آمد چون سه سمت بحر و یک طرف متصل براست سمت خشکی را حصنی حصین و بروجی رصین برافراشت » ممکن است بنای چاربرج را نیز همین شیخ ناصرخان کرده باشد. (مرآت البلدان ج 1).