首任住持慧根法师于清光绪八年（1882）从缅甸请回大小玉佛5尊，留下两尊供沪上信众瞻礼。先在上海张华浜建茅蓬，后于沪郊江湾车站附近建寺，供奉玉佛。慧根法师圆寂后，有本照、宏法法师先后继任住持。宏法法师圆寂后，有可成法师继任住持。

    他于1918年起，在槟榔路（今安远路）建新寺，10年方成，即今天的玉佛禅寺南院所在地。因可成法师传承禅宗临济法脉，故定名为“玉佛禅寺”。可成法师兴建新寺，费尽心力，被人称为玉佛禅寺的中兴者。

    可成法师圆寂，由远尘法师、震华法师、止方法师、苇一法师、苇舫法师先后担任住持。其中震华法师法师在寺内创办上海佛学院，培养了一批僧才。又在寺内设立图书馆和弘一大师纪念会，并发行《妙法轮》刊物，大力弘扬佛教文化。1945年，为纪念昆明“一二·一惨案“殉难烈士，在玉佛禅寺举行盛大公祭活动，主祭团由宋庆龄等7人组成，公祭后举行游行，影响甚大。

    上海解放后，上海市人民政府拨款修缮了玉佛禅寺。1952年，上海佛教界在寺内启建“祝愿世界和平法会”，恭请虚云法师主法。法会圆满后，虚云法师又留寺主持禅七。