关于快雪堂太湖石的来历，有两个版本的传说。
《水浒传》里曾描写宋徽宗耗费大量人力财力从太湖中捞取太湖石，由花石纲运到汴梁建艮岳园，后来一部分成了北海的假山石。
金攻打宋时，艮岳园被毁，但金世宗却非常喜欢园中太湖石，便千里迢迢从汴梁运送到北京，让工匠照着图纸，按照原样进行叠放。
据说，当时为了加快运送太湖石，金世宗让人把太湖石折成钱粮让沿途各州府县用等量粮食支付其价款，所以这些山石也称折粮石。
另一说法，则是艮岳园运来的太湖石安放在北海琼岛之上，修建快雪堂第三进院落的时候，从琼岛上移到了快雪堂院子里。