美国重夺马尼拉战斗后的马尼拉市政厅
1942年，日军占领了马尼拉，并逮捕了杨光泩和其他七位领事官员。直到抗战胜利后，严幼韵才知道他们都已经牺牲。当时，日本宪兵司令要求杨光泩制定一个向华侨筹集2400万比索（约1200万美元）的计划，被杨光泩拒绝。“日本人知道自己的野蛮行径违反了国际公约，一直秘而不宣。”严幼韵在自传中说。
丈夫的“消失”，让外交官的太太们自动聚拢到严幼韵那里。一切都变得艰难起来：原有的房子都被日军查封，物资被没收。搬到老房子后人口激增，矛盾和争吵不断，期间还伴随着日军士兵耀武扬威。严幼韵瞬间从享受一切的阔太太变成了维系这个“共同体”的大总管，她带领女人们将草坪开垦成菜园，养鸡养猪，还要调节各方的矛盾。
和其他太太同样只有三十五六岁的严幼韵做得不错，日子终于趋于平静，家里有了弹钢琴和打桥牌的声音。2015年5月，《一百零九个春天：我的故事》在复旦大学举行首发式，在会上，她的二女儿杨雪兰告诉澎湃新闻记者，“母亲是润滑剂，大家都爱她。我小时候没感到什么痛苦，只有爱。”
从联合国官员到顾太太
二战胜利后，严幼韵带着三个女儿回到了美国，之后进入了联合国礼宾司，成为里联合国首批雇员。她的工作内容是所有有关礼仪方面的事宜：接待刚刚赴任的大使、安排他们递交国书，各国元首到访的迎送、清关、酒店和车队安排等。
严幼韵在联合国工作期间，欢迎缅甸大使及夫人来到联合国。
在联合国工作的十三年间，严幼韵不仅在事业上取得了成绩，而且三个女儿学有所成，后来不仅在各自领域做出了成绩，而且还都建立了让人羡慕的家庭。长女杨蕾孟是资深编辑，经手出版了包括《基辛格回忆录》在内的250本书；次女杨雪兰，在1989年成为美国通用汽车公司历史上唯一的华裔副总裁；三女杨茜恩在房地产开发方面卓有成绩，但因病较早去世。
顾维钧和严幼韵在墨西哥城的婚宴
