为了实施这个计划，1978年，廖承志特意邀请了一大批香港工商界的巨子赴京，其中有利铭泽、霍英东、李嘉诚、冯景禧、胡应湘、彭国珍等人。当时，邓小平还会见了他们，并向他们透露中国将实施改革开放政策。会见时，邓小平还向这批商界巨子了解香港的情况，征求他们对香港前途的看法。
霍英东对八大酒店计划非常支持，主动要求参与这八大酒店的投资建设，当时的国家旅游局局长卢绪章还为此南下广东，与霍英东商议此事。那次，霍英东还陪卢绪章跑了番禺、中山等地，了解、探索广东旅游业的自然环境和发展前景。
选择在哪个城市建宾馆呢？霍英东最初想到的地方是北京和上海。他知道作为首都的北京，是中国的政治、文化、经济、交通中心，而且又是闻名世界的旅游胜地，在那里建旅游宾馆实为上上之选；而上海在20世纪初期，已是世界著名的东方名城之一，与伦敦、纽约、东京一样，是世界各地的政要、商贾、名流云集之城，当然也是建旅游宾馆的理想之地。
国家旅游局有人提醒霍英东：在广州建旅游宾馆，可能比在北京、上海兴建为好。霍英东仔细一想，也觉有理。广州虽无太出名的名胜古迹，但向来港澳和华侨旅客较多，一年两次的中国商品出Kou交易会又在那里举行；加之广东毗邻港澳，在改革开放方面会先走一步，有利条件较多。于是，霍英东改变初衷，决定在广州兴建。
1979年1月，广州市副市长林西、赖竹岩等人组成一个代表团，应邀到香港，与霍英东商谈兴建旅游宾馆事宜。一经接触，霍英东发现双方在对投资合作等问题的认识上差异较大，相互沟通比较困难。这主要是因为内地开放伊始，内地官员对一些属于国际惯例的投资问题知之甚少。
在与广州市的官员商谈时，霍英东提出：“酒店1000间客房、建筑材料、劳动工资、市政工程、绿化工程等完全由香港维昌发展有限公司负责投资，内地一方不需投资，还本付息按国家规定办。”
“维昌”是霍英东和香港另一商人彭国珍合组的公司。不久，彭国珍病逝；后来，霍英东买下彭国珍在“维昌”所持的股份，一个人独持“维昌”。
另外，霍英东还向广州市的官员建议：“目前有很多侨胞、港澳同胞想在广州购买住宅给亲属居住，而国家限于资金、材料不足，兴建速度很慢。可以在香港筹集资金、进口材料，在广州兴建房屋，然后在香港出售，国家赚了外汇，满足侨胞的要求，又减少广州住房紧张的局面。”
霍英东可能是最早提议在内地发展房地产业，向海外推销的商人；至于后来内地兴起地产热，向海外倾销楼盘，则是好几年之后的事。由此可见霍英东眼光独到，高瞻远瞩。
双方谈了几天，还是未能在合作方式、宾馆规模、资金使用、承建及经营管理等问题上达成共识。
但是，在广州市领导小组代表团离港返穗前，霍英东还是和他们草签了初步合作协议。霍英东说，这样做是为了表示他到广州投资的诚意和决心。
之后，霍英东又上广州几次，继续与广州市的有关官员商谈。
执意选址沙面
每次上广州，霍英东都驱车在市内到处跑，物色酒店的地址。最初，广州市方面决定把白云宾馆对面的那幅面积5万平方米的地皮批给霍英东。但霍英东看到那里是菜地，他担心占用菜地会引起市民不满，于是放弃。而这块地，后来又批给霍英东的好友利铭泽。利铭泽当时也参与八大酒店的发展计划，他和李兆基、叶汉家族、郭得胜、黄球等人合组财团，就在这块地上投资建起花园酒店。
另外，当时李嘉诚、郑裕彤、李兆基、郭得胜、冯景禧、胡应湘等人，也组成新合成有限公司，投资兴建广州中国大酒店。香港另一富商杨元龙也投资在北京兴建香山饭店。
白天鹅宾馆、花园酒店、中国大酒店、香山饭店，都是当时中国旅游部门的“八大酒店”计划之中的酒店。
一天，霍英东驱车经过广州市区西面的一处地方。从车上往珠江方向望去，只见江畔有一块辽阔的淤塞滩涂，周围空无一物，极为空旷。霍英东联想起世界著名的泰国曼谷东方酒店，也就是建在与眼前所见的这块地方有几分相似的湄公河畔，故而从辽阔的河面望过去，极之雄伟壮观。
霍英东叫司机停车，一行人步行到滩涂处，仔细察看地形。
一番勘察之后，不仅是对这片大滩涂，就连与滩涂相连成片的“沙面”，霍英东都甚感兴趣。沙面有如一个大花园，绿树成荫，常年花香鸟语，故虽处市区，但却没有市区的喧闹和繁杂，向来自成一隅。
当然，沙面最有特色的，还是那一栋栋在绿树掩映之下的楼房，全是欧陆风格的建筑，与中国一般建筑物迥然不同。原来，沙面曾经是外国的租界和外国驻华领事馆的集中地。在近代和现代中国，沙面是和外国欺凌中国及中国反对外国欺凌的历史连在一起的。1883年9月，为反抗英国和葡国人无理打死中国人，广州民众愤而冲入沙面租界，烧毁英、美、法、德国的房屋，英政府被迫赔款。1924年，英国政府颁布一项侮辱中国人的新警律，规定出入广州沙面租界的华人须带执照，但外国人却可自由出入，沙面几千名工人于是举行大罢工，最后迫使英国取消该警律。第二年，沙面工人参加“省港大罢工”，反对英、法等国政府，当游行队伍路经沙面对岸的沙基时，英、法等国军队开枪射击，死伤超过200人，造成震惊世界的“沙基惨案”。
有人提出：“填河会增加投资，且地基不知是不是坚固？”
“我们有多年填海造地经验，填河造地不成问题，而且填河既可以不占土地，也可免除拆迁阻力。”霍英东说。
“在这里建宾馆，可能会破坏沙面原有的景观。”也有人提出这样的问题。
霍英东解释说：“我们可以多填一些土地，建设公园，增添沙面休憩地方。只要规划好、建设好，宾馆区和沙面就能连成一个整体。这不但不会影响原有景观，反而会使沙面变得更加美丽、更有吸引力！”
霍英东如此执着要在沙面建酒店，不知除了因为这块地方确实风景优美之外，是否还有与沙面历史有关的原因？也就是说，是否有这样的想法：沙面，帝国主义曾在这里镇压过不甘屈服的中国人民；而今，我们要在这里建起雄伟的大厦，与那些欧式建筑物形成对照，以显示中华民族的强大和威严？——其实，像霍英东这种民族意识极强，又曾一度深受英美两国“政治迫害”之苦的老爱国者来说，做出这样的考虑是不足为奇的。
在霍英东的执意坚持下，广州方面最后也同意选址沙面。
给即将兴建的酒店起一个什么名称好呢？据霍英东所述：“那时，有一次，我们和叶帅（叶剑英）见面，我说起在沙面起酒店，叶帅就说那个地方原来叫白鹅潭，还讲起与白鹅潭有关的历史故事。所以，最初，我们签协议时也是称‘白鹅潭宾馆’，后来才改为‘白天鹅宾馆’的。”
据说，霍英东他们后来把宾馆定名为“白天鹅”，是考虑到白天鹅是一种既飞得快、又飞得高的圣物——以此喻白天鹅宾馆将会像白天鹅一样振翅冲天，一鸣惊人。
1978年4月10日，霍英东与广州市旅游局签署了正式合作协议，共同投资2亿港元，在广州沙面兴建34层高的白天鹅宾馆。这是内地计划建设四大城市八大宾馆中的第一份合作协议书。
同年7月，开始填江造地。到了11月份，酒店全面施工。
国防部要在宾馆安装高射炮
在项目洽谈初期，霍英东就已经感觉到，双方对一些问题的认识有很大歧异。到了酒店设计阶段，内地方面的一些想法和做法更是千奇百怪，霍英东不明所以，一时间也不知所措。
酒店工程图纸搞出来之后，霍英东把它递交给有关方面。霍英东也知道，酒店图纸要经过多个政府部门审批，对这点他已有心理准备，但是他怎么也没想到，竟然连国防部也介入其中。
国防部向霍英东提出：要在白天鹅宾馆的顶楼天台安装高射炮。
“宾馆并非军事基地，何以要安装高射炮？”霍英东和香港的建筑设计师困惑不解。
据说，在一些城市的高层建筑物（包括酒店）安装高射炮，是内地固有的国防措施之一。加之霍英东兴建白天鹅宾馆之时，中越双方正在两国的边境线上展开大规模的武装对抗行动，而广州地处中国南大门，故国防部才打算在建成后将是全国最高的白天鹅宾馆顶部安高射炮，以加强防空。
“事实上，令我意想不到的事情，还有很多。”霍英东后来回忆说：“我在广州参加来自香港及广州的建筑设计师对宾馆设计的座谈会，听专家们各抒己见。在座谈中发现，由于内地建筑业对外封闭了30年，建筑师们对新的事物仍然缺乏认识，而香港的建筑师对内地情况也有不理解的地方。譬如，内地设计要考虑到地震预防，要有工人宿舍、饭堂和放置单车的地方，这些问题在香港是不存在的，故香港的设计师当然不会想到……”
最初，霍英东是打算由内地建筑师和香港建筑师合作设计的，后来，他干脆由熟悉本地情况的内地建筑大师佘峻南、莫伯治两人单方面负责酒店的总设计。为了让他们多了解一些新事物，霍英东特意邀请他们到香港，去参观一些著名建筑物，与香港的著名建筑师座谈，了解香港建筑设计工作的运作情况。这两位建筑师本来功底很深，如今眼界一开，智慧一下子就充分发挥出来。
他们从香港回广州后，很快就把蓝图设计出来。霍英东看了设计稿，很满意，觉得它的风格富有民族特色，能显示出中华民族的泱泱气派。
在建筑设计方面