但由于特殊的年代，“异国恋”注定不被人接受，后来潘虹的母亲匆匆远嫁南下的干部。潘虹一直被外婆带到6、7岁的时候，才重新回到妈妈身边。潘虹一度将继父当成了自己的亲生父亲，但是还没享受几天完整的家庭生活，继父被当作右派抓捕，在潘虹10岁那年去世了。
潘虹人生受到了重大的打击，她说“他的死，使我一下子超越了时代，超越了年龄，甚至超越了痛苦。也就在那一刻，我彻底失去了我的童年。”没有了父亲宽厚的肩膀，潘虹也独立了很多，1973年，上海戏剧学院来崇明岛招生，潘虹报考，被录取在了表演系。
在学校期间她参与了《青春》、《欢腾的小凉河》与《朝霞异彩》三部影片的拍摄，但都是潘虹毕业后才制作完成并公映的。之后1976年毕业后她主演了电影《奴隶的女儿》。
