1792年着工, 1800年第2代大統領W. 애덤스가 첫 入住. 第二次英美戰爭中인 1814年, 英國軍에 依한 攻擊으로 念相. 그 後, 몇 番의 增改築을 거쳐 오늘에 이른다. 外壁이 하얗게 漆해져 있는 것이 이름의 由來이다. 처음에는 通稱이었지만, 1902年T. 로즈벨트가 利用해 以後公稱이 된다. 由, 大統領 및 直屬 스태프의 代名詞로 使用되는 境遇도 많다.
現在는 地上 4層, 地下 2層, 132個의 客室이 있으며, 大統領의 執務室楕圓形事務室은 웨스트 윙에 있으며, 2層에 大統領과 그 家族의 居住部分이 있다.
大統領의 行政權限이 增大했기 때문에, 白堊館·스태프도 肥大化되어, 只今은 政府大統領과 그 直屬 스태프만이 白堊館에 들어가, 다른 美國國家安全保障會議, 行政官吏豫算局等은 西쪽의 大統領部 빌딩 2棟에 막혀 메우고 있다. 또한, 白堊館이 大統領職自體의 意味로도 利用되게 되어, 大統領의 旅行地가 白堊館이라고 불리기도 한다.