Gmach miał dowodzić majętności fundatora, generała wojsk polskich i napoleońskich, Ludwika Michała Paca. Projekt pałacu wyszedł spod ręki włoskiego architekta Piotra Bosio, zaś jego procę kontynuował również Włoch, Henryk Marconi. Z powodu emigracji właściciela po powstaniu listopadowym pałac powoli podupadał i został ostatecznie rozebrany w 1867 roku na budowę koszar suwalskich. Obecnie zwiedzający Pałac Paca mają możliwość podziwiać pozostały arkadowy portyk, mury fundamentowe, dwukondygnacyjne piwnice, park oraz narożną wieżę (Wieża Bociania), która według miejscowych podań przetrwała wyłącznie dlatego, że na jej szczycie znajdowało się bocianie gniazdo.