文化部的搬迁方案很快在7月24日送到了谷牧处：申请1500万元和5万平方米基建用地，修建中国音乐学院和文学艺术研究院新址。
虽然“文革”后百废待兴，财政困难，谷牧还是专门找到主管财政的国务院副总理姚依林，为文化部的搬迁特批了一笔钱。
在谷牧的协调下，北京市在劲松给公安部拨了一块地，用来盖宿舍楼。
1981年9月，谷牧召开恭王府搬迁会议，搬迁工作终于启动。
会后，文化部开始前期准备工作。仲秋元告诉《中国新闻周刊》，由于工程艰难，文化部又“弱势”，部里谁都不愿意去，连牵头起草《关于加强古建筑和文物古迹保护管理工作的请示报告》的文物局都没有兴趣。最后，任务落到了时任文化部总务司副司长韩澎的头上。
1981年11月，总务司所属的文化部修建队派卢明胜、张跃东、韩扬等人进入恭王府调研。
文化部修建队于1978年成立，主要负责修建平房、板房、车库等小工程任务。修建队麻雀虽小，五脏俱全，分为木工、土建、油漆等几个专业组，还有财务、采购、仓库等行政和后勤部门。
“韩澎就告诉我们，恭王府要修了，你们去琢磨琢磨，没有期限。”当时的修建队副队长卢明胜告诉《中国新闻周刊》。
1982年春节前后，修建队向文化部提交了恭王府调研报告，提出了后花园24景的修复方案。
2月13日，在修复恭王府、改建琉璃厂的汇报会上，谷牧为恭王府搬迁定下了基调：谁的孩子谁抱走。
3月，文化部提交《关于恭王府修复工程的请示报告》，提出了“接一间、管一间、修一间”的修复方案，并建议成立恭王府修复管理委员会。
不久，谷牧再次在恭王府召开几个部门的联席会议。主管计财、基建的文化部副部长仲秋元，北京市副市长张百发、公安部副部长习国光等均出席了会议。
仲秋元回忆，这期间，谷牧再次视察了恭王府，并明确了修复工程的领导问题。“谷牧说我做主了，修复工作还是归文化部，北京市就不要插手了。”
会上，谷牧宣布，经国务院批准，成立以文化部为主，由文化部、公安部、国家计委、建委、财政部、国管局、宗教局、北京市政府等部门组成的恭王府修复管理委员会，并制定了先易后难、分期分批，先花园、后府邸，边搬迁、边修复、边开放的修复原则。
不可能的任务
1982年4月，文化部修建队匆匆入驻恭王府。
仲秋元告诉《中国新闻周刊》，在相当长的时间里，恭王府修复工作没有人管，就靠这支维修队。日后，维修队的成员大都成为了文化部的工作骨干。
第一批进驻的修建队成员、现恭王府管理中心高级工程师张壮向《中国新闻周刊》回忆，修建队进驻恭王府时，府邸里住了200余户，花园中心区域住了60户，周边40多户。彼此各自为政，各扫门前雪。
府邸部分，中国音乐学院因办学需要，拆除了部分原有附属用房，增建了钢筋混凝土的办公建筑群；花园部分，游廊已塌，园池被填做幼儿园的操场，东边的工厂拆了7间房，建了一座两层的厂房，有的住户还搭建了厨房、锅炉房、储藏室等临时建筑。
原王府的古建已濒临支离破碎的边缘。
修建队对修复工程的前景都比较悲观。且不提府邸部分驻着一个大学和一个研究机构，单是花园的搬迁就已遥遥无期。
尽管有谷牧下的死命令，北京风机厂也要在新的厂房建成后才能搬走。虽然公安部新建了宿舍，但许多离休干部也不愿意搬走。让卢明胜印象深刻的是，一位老干部是用了至少6套房子才将他请走的。更不用说天主教爱国会。爱国会写信给赵朴初，他呈递给邓小平，邓小平做了批示，爱国会就不搬了。
