随着两人关系渐渐疏远，少帅几乎不来看望他后，后来郭松龄谋反，不知怎么的，在谷瑞玉的床头下，竟然藏着她与郭松龄来往的信件，张学良知道后大怒，立刻要求与她离婚。谷瑞玉早就知道张学良的性情，离婚也许是迟早的事吧，所以她没同意，也没反对。
1931年1月，当时张作霖已去世，张学良成为东北军的首领，他与谷瑞玉解除了婚姻关系，不过他也并不是完全绝情之人，不然怎么能成少帅？他给了谷瑞玉10万作为生活费，同时告诉她，不允许从妓。
谷瑞玉拒绝了张学良的10万元，也没有从妓，她一直在南开大学任教，直到退休，终身未嫁。谷瑞玉于1980年之后才去世，一直守寡50多年，这份对张学良的忠贞情谊，也不输于赵一荻和于凤至二位了。
