张冰玉原籍南京,在天津长大。1937年满洲映画协会成立,大张冰玉五岁的姐姐带着她到东北应征演员,张冰玉就这样当上了满映的临时演员。抗战结束后,张冰玉在长春,北平参加剧团,演出话剧。之后她与空军军人酆宗铨结婚,并随丈夫赴台,进入国防部康乐三队。当时的台湾省电影制片厂厂长龙芳颇欣赏她,让她调进空军大鹏话剧队,并演出《恶梦初醒》,《皆大欢喜》等片。
1962年,台视推出第一部国语电视剧《欢乐家园》,找来常枫与张冰玉主演,张冰玉也因此被誉为“台湾第一位电视剧女演员”。张冰玉剧照1968年到1980年间每年平均出演十部电影。1969年,张冰玉以电影《小镇春回》中坚毅的寡母一角,获得金马奖最佳女配角奖及第15届亚洲影展最佳女配角奖。1970年,张冰玉演出电视剧《清宫残梦》中的慈禧太后,大受好评,后被尊称为“永远的慈禧太后”。1970年第一次与李行合作《警告逃妻》,后又陆续参演他执导的《碧云天》,《原乡人》,《汪洋中的一条船》等8部电影。期间与秦汉合作出演了15部电影。1985年,张冰玉加入中华汉声剧团,演出舞台剧《钗头凤》。1990年,张冰玉出现在杨佩佩制作的多部台视电视剧中,成为经常参演的演员之一。1987年《还君明珠》入围1989年金钟奖最佳连续剧。1989年《春去春又回》荣获1990金钟奖最佳连续剧,灯光技术奖。1991年在《碧海情天》出演黄金一角。1992年饰演《末代皇孙》中的叶赫那拉氏。其中当以1994年《倚天屠龙记》中灭绝师太一角最令人印象深刻,将灭绝师太演绎得入木三分。1996年,张冰玉身体欠安,出演台视电视剧《四千金》之后就不再接戏。2013年,受方芳之邀,客串华视电视剧《金牌老爸》。2014年10月25日,张冰玉坐轮椅出席第49届台湾金钟奖颁奖礼,获“特别贡献奖”。
张冰玉生活照2014年12月4日,张冰玉因多重器官衰竭,在医院病逝,享年88岁,其女儿证实死讯,并透露母亲因病痛感染,加上高龄抵抗力差,所以没留遗言而撒手尘寰。预计22日于台北市立第二殡仪馆举行公祭,送张冰玉最后一程。因家属希望低调,仅会邀张冰玉的圈内好友到场。
张冰玉晚年照张冰玉从影50多年,出演过上百部影视剧,被誉为“台湾第一位电视剧女演员”。94年版《倚天屠龙记》的“灭绝师太”最深入民心,当年已68岁高龄的她,以深厚的演绎功底,将灭绝师太的狠,绝演绎得淋漓尽致,是不少粉丝心目中,印象最深刻的一位。