Konağın yapımı yaklaşık 1860 tarihlidir. 

Kereste Tüccarı olan Nazifoğlu tarafından yaptırılan konağın inşası beş yıl sürmüştür.

Konakta kullanılan malzemeler (menteşe anahtar vb aksesuarlar) İskenderiya'dan (Mısır) getirilmiştir.

Konağın çevresi portakal bahçesi olup,  camları vitray renkli ve tavus kuşu figürlüdür.

Saçakaltı süslemeleriyle göz dolduran konağın hemen bitişiğinde yer alan tek katlı yapı, devecilerin kaldığı yerdir. Konağın birinci katı ise  çalışanlar ve misafirler için ayrılmış bölümdür.

Nazifoğlu Konağının özgün kullanımı ev olmasına rağmen sırasıyla, Hükümet Konağı, Orman İşletmesi ve son olarak 1954'ten 1968 yılına kadar hapishane olarak kullanılmıştır.