漚汪人薪傳文化基金會創辦人林金悔先生為推動文化紮根，早有在家鄉興建「香雨書院」之夙願，並於1987年邀請北門區藝術家返鄉寫生，且出版 《北門區寫生作品集》。於1997年成立「財團法人西甲文化傳習基金會」，2003年5月改稱「財團法人漚汪人薪傳文化基金會」，持續推動北門區文化工作。香雨書院是林金悔先生為回饋故鄉於退休後捐出退休金及向各界募款三千萬元興建。
臺南大學於2012年幸得林金悔先生捐贈位於香雨書院所有建物與收藏品，於2012年12月1日舉辦相關捐贈儀式、揭牌儀式，正式成立臺南大學博物館。2020年8月1日改制後併入圖書館文物組。
香雨書院位於臺南市將軍區（漚汪）長榮里182號，由建築師劉國滄以通天（階梯、觀景臺、瞭望臺）、通地（玻璃可直望外面的土地）、通古今（傳承、由古至今再至未來）以及「雲深不知處」（可從外面觀看內部）為設計準則（黃文博，2017），打造出米白色船形建築本體，大致可分為東、西兩區，包含四個展場。
「香雨書院」典藏地方文物，包括鹽分地帶藝術家作品、文學作家手稿信函著作、古地圖、拓碑、古文書、老照片等，亦蒐藏相關書籍九百餘本及臺灣各地區美術作品集二千餘冊，文獻一萬件以上。
