দীর্ঘদিন ধরে অযত্ন-অবহেলায় ধ্বংস হতে বসেছে জমিদার বাড়িটি। ইতোমধ্যে ভেঙে পড়তে শুরু করেছে এর অবকাঠামো। সংস্কারের মাধ্যমে সঠিকভাবে রক্ষণাবেক্ষণ করতে পারলে বাড়িটি হারানো ঐতিহ্য ফিরে পাবে বলে মনে করেন স্থানীয়রা। তাদের আশা, তখন দর্শনার্থীর সংখ্যা বাড়বে।
জমিদার বাড়ি সংস্কার করা জরুরি বলে মনে করেন বিরামপুরের খানপুর ইউনিয়ন পরিষদের চেয়ারম্যান ইয়াকুব হোসেন। জেলা প্রশাসকের কাছে এ বিষয়ে আবেদন জানিয়েছেন তিনি। তার কথায়, ‘জমিদার বাড়িটি বর্তমানে পরিত্যক্ত অবস্থায় পড়ে আছে। এটি সংস্কার করলে একটি ঐতিহ্য রক্ষা হবে। একইভাবে সাধারণ মানুষের কাছে দর্শনীয় স্থান হয়ে উঠতে পারে এই বাড়ি।’
তৎকালীন ফুলবাড়ির জমিদার তার কর্মচারী রাজকুমারকে খাজনা আদায়ের জন্য রতনপুর কাচারি বাড়িতে পাঠান। তিনি এসে অত্যন্ত দক্ষতা ও নৈপুণ্যের সঙ্গে আশেপাশের প্রায় পাঁচ-ছয়টি উপজেলার খাজনা আদায় করতেন। খাজনা আদায়ের দক্ষতা দেখে জমিদার নিজের বোনকে রাজকুমারের সঙ্গে বিয়ে দেন। বিয়ের উপঢৌকন হিসেবে তাকে উপহার দেওয়া হয় ৬৫০ বিঘা জমি। পরে রাজকুমার নিজের বুদ্ধিমত্তায় আরও প্রায় সাড়ে ৫০০ বিঘা জমির মালিক হন। এ নিয়ে তার জমির পরিমাণ দাঁড়ায় ১২০০ বিঘা।
রতন কুমার ও রক্ষনী কুমার নামে রাজকুমারের দুই সন্তান ছিল। ১৬ বছর বয়সে পুকুরে গোসল করতে গিয়ে ডুবে রতন কুমারের মৃত্যু হয়। ছেলের শোকে কিছুদিন পর বাবা মারা যান। পরে এককভাবে জমিদার বাড়ির মালিক হন রক্ষনী কুমার। জমিদার প্রথা উচ্ছেদের পর তাদের সমস্ত জমাজমি সরকার বাজেয়াপ্ত করে। ১৯৭১ সালে স্বাধীনতা যুদ্ধের সময় রক্ষনী কুমার ভারতে চলে যান। তারপর আর ফেরেননি। তখন থেকে জমিদার বাড়িটি পরিত্যক্ত অবস্থায় পড়ে থাকে। পরে সেই বাড়ির একটি কক্ষে ইউনিয়ন ভূমি অফিস করা হয়। তবে ঝুঁকিপূর্ণ হওয়ায় পরে পাশে নতুনভাবে কার্যালয় স্থাপন করা হয়।