20世纪八十年代初，谷牧多次来到恭王府修复施工现场视察和现场办公。
北京的王府很多，但没有哪个比恭王府更大。恭王府位于北京的风水宝地什刹海地区，占地6万多平方米。
八十年代初的恭王府已成为被8家单位割据、数百住户聚居的大杂院，有200余住户。要修复恭王府，首要任务是搬迁。
在周恩来、谷牧和李岚清三代国务院领导人的关心下，恭王府腾退修缮工作历28年完成，使之成为中国唯一一座对公众开放的清代王府。
《抢救恭王府》，记者何晞宇采写
上世纪初，北京城流传着一句顺口溜：“恭王府的房子、豫王府的墙，肃王府的银子用斗量。”
恭王府位于北京的风水宝地什刹海地区，占地6万多平方米，有“99间半”之称的后罩楼拦腰将之隔为府邸和花园，府邸堂皇庄重，花园优美繁华。在王府、贝勒府扎堆的前后海，恭王府以其富丽而被称作“城中第一佳山水”，更因其堪比故宫(微博)的府邸建制而声名显赫。
时至民国，为了筹集复清经费，也为生活所迫，恭王后裔先将府邸和花园抵给了西什库教堂，后卖给辅仁大学。
1934年，身为北平“左联”组织委员的谷牧有机会到辅仁大学走动。王府轩敞华美的景色给这位刚满20岁的文学青年留下了深刻的印象。
多年后，当年的民国文青、中共地下党负责人成了共和国副总理，而昔日王府却是陋室空堂、衰草枯杨，往日声名无人知晓。正是谷牧，肩负起周恩来的嘱托，成为抢救恭王府的关键人物。
“三国四方”
建国后，恭王府与北京城内其他王府巨宅一起，悉数被收归国有，逐渐被多家单位所“瓜分”。
王府南边的府邸，被北京市文化局所属的北京艺术师范学院和文化部所属的中国戏曲研究院、民族美术研究所和中央民族音乐研究所等单位占用；北边的花园，则为公安部、天主教爱国会和北京风机厂所占用。
1955年，公安部聘请苏联专家前来协助工作，因为保密，不便安排他们住宾馆。经过报批，北京市将恭王府后花园里的空房全部划归公安部使用。中苏关系破裂后，苏联专家陆续搬走，住房紧张的公安部陆续安排徐子荣、陈龙、汪金祥、梁国斌等副部长和一些局级干部以及工作人员等数十人搬进了恭王府后花园。
当时，迁入的人员大多只知园子前身是王府，但并不知道是恭王府，也不清楚其历史，更无文物保护意识。各单位为办公和生活便利，或拆房，或建楼，保存下来的建筑也因年久失修残破不堪。
1962年被认为是曹雪芹的两百周年诞辰，彼时红学界掀起了短暂的考证热潮，有红学家指恭王府是《红楼梦》中大观园的原型。此说法引起了学界甚至高层领导的关注，周恩来、康生、李先念、陈毅、李富春、杨尚昆、郭沫若等先后到恭王府花园参观考察。此后，“大观园”便成了恭王府后花园的俗称。周恩来乘机批示，拨专款重修恭王府花园，并指示：“一切照原样修复。”郭沫若还向中央打报告，建议在恭王府建立曹雪芹纪念馆。
“文革”开始后，建纪念馆一事不了了之，府内维护一度暂停，并挤进来更多的住户。好在大观园之说已深入人心，使恭王府成为“文革”后保存较好的少数王府之一。与恭王府只有一条夹道之隔的阿拉善王罗卜藏多尔济府（俗称罗王府），则彻底沦为了大杂院。
1975年，谷牧担任了国务院副总理。谷牧1950年代调中央任国家建委副主任，逐渐成为周恩来在经济工作方面的得力助手，深受其信任。病重的周恩来向谷牧托付了三项文化建设工作：建立北京图书馆新址、重整琉璃厂老街，以及修复恭王府。
“总理告诉谷牧，让他支持文化事业。谷牧虽然不管文化，但总理说他是管钱的，建设工作离不开他。” 96岁的仲秋元向《中国新闻周刊》回忆。仲秋元“文革”前长期在文化部计财司工作，1979年从中央美术学院党委书记任上调回文化部任办公厅主任，80年代初担任文化部副部长，参与了这几项文化建设工作。
“四人帮”垮台后，谷牧开始正式进行这几项工作的筹备，并向中央写了报告，得到了李先念等领导的支持。1980年初，他组织国家文物局和国家建委联合起草了《关于加强古建筑和文物古迹保护管理工作的请示报告》。在报告中，他特别强调了修复恭王府的重要性。
当时文化部还处在“文革”后的整顿中，但谷牧还是把这几项工作交给了文化部。据仲秋元回忆，谷牧与时任文化部部长黄镇以前在外事工作上曾有一些接触，对他比较了解。
用当时的话说，恭王府项目是“三国四方”（此说来源于1970年4月在中国召开的印度支那人民最高级会议），“三国”是北京市、公安部、文化部，多出来的“一方”则是谷牧，代表国务院主持大局。
文化部在部委中的排名靠后，在几家联合的项目中的话语权难免受到影响。比如在琉璃厂改建项目中，文化部后来就成了一个“名义甲方”——立了项目，但不管工程，具体事务由北京市负责。因涉及单位众多，屡屡发生扯皮，工程甚至在1980年11月因筹建机构不健全、资金不到位而停工。
恭王府面临着比琉璃厂改建更大的难题。
“谁的孩子谁抱走”
经过十年动乱，恭王府已成为被8家单位割据、数百住户聚居的大杂院。
修复恭王府，首要任务是搬迁。工程面临着怎么搬、谁拿钱来搬的问题。
“北京的王府很多，但没有哪个比恭王府更大。”仲秋元忆起30多年前抢救恭王府一事依然历历在目，“这么大的一个地方，保留下来没有破坏，很难得。但里面住的人杂得不得了。要恢复原貌，要搬走很多人！”
当时占据恭王府的，主要有文化部所辖的中国音乐学院（1964年在北京艺术师范学院的基础上成立，并划归文化部）及其附中、文学艺术研究院（中国戏曲研究院、民族美术研究所和中央民族音乐研究所70年代合并，1978年改为该名），公安部的宿舍，国务院机关事物管理局（简称国管局）的幼儿园，以及北京市所属的北京风机厂。
文化部自己的单位搬迁，比较好解决。国管局则属于“讲不通动都动不了、但讲通了就很容易”那种，因为这个项目是副总理谷牧亲自主持的，国管局很快同意将幼儿园搬走。但面对其他强势的单位，文化部就没有办法了，只能谷牧出来协调。
谷牧多次召集文化部、北京市、公安部、国管局召开联席会议，但是恭王府的腾退搬迁工作进展依然十分缓慢。
1980年7月19日，谷牧前往恭王府视察。在后花园检查原王府大戏楼的保护情况时，以温和闻名的谷牧难得地撂了一句硬话：“不管（恭王府）将来开放不开放，戏楼里的人都要搬出去。”他指示陪同视察的北京市建委副主任沈勃，立刻安排占据戏楼的北京风机厂搬迁，同时要求在场的几个相关部委的领导，在8月份拿出搬迁方案。
文化部的搬迁方案很快在7月24日送到了谷牧处：申请1500万元和5万平方米基建用地，修建中国音乐学院和文学艺术研究院新址。
虽然“文革”后百废待兴，财政困难，谷牧还是专门找到主管财政的国务院副总理姚依林，为文化部的搬迁特批了一笔钱。
在谷牧的协调下，北京市在劲松给公安部拨了一块地，用来盖宿舍楼。
1981年9月，谷牧召开恭王府搬迁会议，搬迁工作终于启动。
