“文革”开始后，建纪念馆一事不了了之，府内维护一度暂停，并挤进来更多的住户。好在大观园之说已深入人心，使恭王府成为“文革”后保存较好的少数王府之一。与恭王府只有一条夹道之隔的阿拉善王罗卜藏多尔济府（俗称罗王府），则彻底沦为了大杂院。
1975年，谷牧担任了国务院副总理。谷牧1950年代调中央任国家建委副主任，逐渐成为周恩来在经济工作方面的得力助手，深受其信任。病重的周恩来向谷牧托付了三项文化建设工作：建立北京图书馆新址、重整琉璃厂老街，以及修复恭王府。
“总理告诉谷牧，让他支持文化事业。谷牧虽然不管文化，但总理说他是管钱的，建设工作离不开他。”96岁的仲秋元向《中国新闻周刊》回忆。仲秋元“文革”前长期在文化部计财司工作，1979年从中央美术学院党委书记任上调回文化部任办公厅主任，80年代初担任文化部副部长，参与了这几项文化建设工作。
“四人帮”垮台后，谷牧开始正式进行这几项工作的筹备，并向中央写了报告，得到了李先念等领导的支持。1980年初，他组织国家文物局和国家建委联合起草了《关于加强古建筑和文物古迹保护管理工作的请示报告》。在报告中，他特别强调了修复恭王府的重要性。
当时文化部还处在“文革”后的整顿中，但谷牧还是把这几项工作交给了文化部。据仲秋元回忆，谷牧与时任文化部部长黄镇以前在外事工作上曾有一些接触，对他比较了解。
用当时的话说，恭王府项目是“三国四方”（此说来源于1970年4月在中国召开的印度支那人民最高级会议），“三国”是北京市、公安部、文化部，多出来的“一方”则是谷牧，代表国务院主持大局。
文化部在部委中的排名靠后，在几家联合的项目中的话语权难免受到影响。比如在琉璃厂改建项目中，文化部后来就成了一个“名义甲方”立了项目，但不管工程，具体事务由北京市负责。因涉及单位众多，屡屡发生扯皮，工程甚至在1980年11月因筹建机构不健全、资金不到位而停工。
恭王府面临着比琉璃厂改建更大的难题。
“谁的孩子谁抱走”
经过十年动乱，恭王府已成为被8家单位割据、数百住户聚居的大杂院。
修复恭王府，首要任务是搬迁。工程面临着怎么搬、谁拿钱来搬的问题。
“北京的王府很多，但没有哪个比恭王府更大。”仲秋元忆起30多年前抢救恭王府一事依然历历在目，“这么大的一个地方，保留下来没有破坏，很难得。但里面住的人杂得不得了。要恢复原貌，要搬走很多人！”
当时占据恭王府的，主要有文化部所辖的中国音乐学院（1964年在北京艺术师范学院的基础上成立，并划归文化部）及其附中、文学艺术研究院（中国戏曲研究院、民族美术研究所和中央民族音乐研究所70年代合并，1978年改为该名），公安部的宿舍，国务院机关事物管理局（简称国管局）的幼儿园，以及北京市所属的北京风机厂。
文化部自己的单位搬迁，比较好解决。国管局则属于“讲不通动都动不了、但讲通了就很容易”那种，因为这个项目是副总理谷牧亲自主持的，国管局很快同意将幼儿园搬走。但面对其他强势的单位，文化部就没有办法了，只能谷牧出来协调。
谷牧多次召集文化部、北京市、公安部、国管局召开联席会议，但是恭王府的腾退搬迁工作进展依然十分缓慢。
1980年7月19日，谷牧前往恭王府视察。在后花园检查原王府大戏楼的保护情况时，以温和闻名的谷牧难得地撂了一句硬话：“不管（恭王府）将来开放不开放，戏楼里的人都要搬出去。”他指示陪同视察的北京市建委副主任沈勃，立刻安排占据戏楼的北京风机厂搬迁，同时要求在场的几个相关部委的领导，在8月份拿出搬迁方案。
