此时，考虑到自己陆军力单，海军无备，美国远东军司令麦克阿瑟将军准备撤离。在临时紧急会议上他宣布：马尼拉为不设防的城市。这意味着，外交官撤离，并不算擅离职守。麦克阿瑟撤离时，还特意在最后一架飞机上为杨光泩等8名中国外交官留了座位，但他们8人却选择留下。杨光泩表示：“身为外交官员，应负保侨重责，未奉命令之前，绝不擅离职守。”
原来，抗日战争一开始，南洋侨领便在华侨中宣传抗战、组织募捐。在菲律宾的日本间谍，早就化装成游客，拍摄了大量侨领照片。杨光泩知道，一旦马尼拉陷落，日本人会首先向侨领们下手。保护侨领是外交官的职责所在，这时他无论如何不能走。
1942年1月2日，马尼拉沦陷。一名日本军官把杨光泩约到瑞士驻菲使馆对他说，日本政府不承认重庆政府，所以他们已经不再具备外交官身份。这意味着，日本人要对中国外交官们下手了。
杨雪兰记得，1月4日早上，全家正在吃早餐，3个日本宪兵闯入家中，对杨光泩说：“你被捕了。”“父亲好像早有准备，镇静地回到房间，带上早已收拾好的箱子，跟着他们走了。”那一刻，父亲从容的仪态，永远定格在她的心中。
不久，8名中国外交官陆续被关进菲律宾大学美术学院。日本人向他们开出三个条件：一、脱离重庆政府，拥护汪伪政权；二、三个月内为日本人募集2400万菲币捐款；三、组织新华侨协会，与日军合作。被8位外交官严词拒绝。
看劝降无望，1942年3月15日，日本人把8位外交官投入圣地亚哥炮台监狱。在那里，他们遭受了日寇野蛮的凌辱、酷刑。杨雪兰说：“那其实是一个水牢，监狱紧靠江边，常有江水浸漫，非常难受。囚室里挤满了抗日人士，空气恶浊，常常夹着血腥味，还断断续续有呻吟声……再后来，我们听说爸爸他们被转到乡下去了，从此再也没有见过面。”
受尽严刑拷打，8名外交官始终坚贞不屈。眼看威逼不成，日本人杀心顿起。1942年4月17日，马尼拉华侨义山东南的草丛洼地，8名外交官被枪杀。
而在外交官们被捕之后，她们留守的妻子们集中到了严幼韵家的大房子，过起了集体生活。杨雪兰记得，当时母亲一个朋友从上海准备到美国看她的丈夫，转经菲律宾来看母亲，正好赶上战争爆发，也只好滞留在马尼拉。她们母子和杨家母女四人，挤在一个房间里，一住就是4年。
