位育斋最初叫对育轩，嘉靖年间改名名玉芳轩。雍正时期，当时的皇太后迷上了吃斋念佛。为了讨好自己的母亲，雍正皇帝打算设立一座佛堂。认为“位育斋”是最佳选择。