，曾参加英国一支登山队，远赴中国新疆攀登海拔高度7700多米的公格尔山。他的技术和成绩比专业登山队员表现并不差。
卫奕信平时衣着随和，喜欢穿运动鞋四处跑步。有一次，脚上的运动鞋破了，露出脚趾，到商店购买新鞋时被一名售货员误认为乞丐而拒之门外。
卫奕倍在跑步和远足时曾发生多次意外。有一次，在北京中英联合联络小组开会期间，他和往常一样，习惯地在会议间隙，在大使馆附近跑步，因为跑得太入神，结果误坠入一个约6尺深的地坑里。还有一次，在1991年2月初，他在新界八仙岭远足时，被一块石头绊倒，右面部颊骨受伤，被送进玛丽医院接受2小时的颊骨矫正手术。
卫奕信还喜欢在夜深人静时听音乐，用以洗涤一天工作的疲劳。他特别喜爱舒伯特的音乐。
不管是在伦敦还是在香港，凡有空闲时间，卫奕信经常逛中文书店，翻阅及购买中国大陆出版的新书及期刊，大多数是中文的政治及经济方面的书籍。在他的家中，藏有相当数量的中文书籍。离任返英时，也曾携带不少中文书籍回英国去。
卫奕信性格开朗幽默。在逗笑方面颇有一手。在英国参加舞会时，他喜欢把一只玩具熊放在肩膀上跳舞，引得众人大笑。
60年代初期来香港学习中文时，卫奕信随身带来滑雪装束，朋友问他为什么到香港来还带雪装，他说，那些滑雪装束是准备在黎巴嫩的山区作“沙漠滑雪”用的。他以为自己是奉派到中东黎巴嫩学习阿拉伯语，所以把雪装也带来了。结果成为朋友间的闲谈笑料。70年代做港督政治顾问时，有一次在朋友的怂恿下，他身穿苏格兰裙，外披雨衣，露出两条大腿，碰巧被总督麦理浩看到，问他为何裸着身体做“雨褛怪客”。逗得众人捧腹大笑。
备受争议的事件
1987年9月和12月，卫奕信上任以后不久便两度访京，讨论有关香港政制发展问题。由于与中方意见分歧，访京返港后宣布，1988年暂时不在立法局内进行直选，并决定1991年只有少量直选议席，而1997年前则增至25％。为此，被人指责：为维护中、英、港良好的关系，而漠视香港五百多万市民的意愿。
1987年10月，全球股灾，香港联合交易所宣布停市4天，港府宣布以20亿外汇贮备来挽救期货市场。当时卫奕信正在美国访问，有的议员事后批评他没有即时返港“助阵”，解决股市问题。还批评他平时疏于监管股票市场，临时用20亿元救市是为豪赌中输过了头的投机者提供免费赌注。
1988年11月，卫奕信第三次访问北京，与中方官员达成“直通车”协议。中方初步同意九七年前最后一届立法局议员任期可跨越九七。（以后这一“直通车”方案又被正式写入1990年4月4日的全国人大的决定中）虽然会谈成果丰富，但却被一些人批评为中英谈判，忽略了港人意见，咨询民意虚假，等等。
1989年10月，在任第三份施政报告中详细列出以一千二百多亿港元建设玫瑰园计划，其中包括在赤角兴建新机场。这一计划，卫奕信声言是为了增强港人信心，但是，费用庞大，中方认为，这是“英方请客，我方出钱”。中方官员批评港英政府有意使九七后的特区政府储备空虚，负债累累。
1990年4月，港府宣称，为了挽救港人信心危机，及人才流失问题，公布了5万个家庭、22。5万个名额的港人居英权计划，当局估计有30万人申请，结果只收到65000份申请书，表明港府有些人对港人的信心估计过低。结果，该计划受到许多知名人士的批评，他们认为，港英当局搞所谓居英权方案是为港府鹰派人士所铺的下台阶，是搞政治小动作，令中英关系僵持良久。针对港英当局的动作，中方在《基本法》中有关立法会议员资格上作出了国籍限制的相应措施。
1991年6月，港府立法局通过“人权法”。香港许多人士认为，这是港英政府又一小动作，企图以“人权法”驾空《基本法》，并借此在港散布不信任中国的情绪。中方不得不重申，保留特区政府修改“人权法”的权利。
1991年9月，英国首相梅杰访华，签署中、英双方关于新机场建设及有关问题的谅解备忘录。因此，有人批评卫奕信及港府，在1990年错失跟中方磋商机场问题的良机，使中英关于机场问题的会谈陷于僵局，问题扰攘多日，最后不得不要首相梅杰和外交顾问柯利达出面解决。
一项突如其来的宣布
香港《明报》1992年1月1日发表评论文章，文章说，除夕凌晨的消息，英国首相府正式宣布，港督卫奕信爵士明年退休，并受勋为终身贵族。所谓终身贵族，并不值钱，不过是可以在上议院发表演说而已，但自港督之位退下来，却是实在得不可以再实在了。
《明报》的消息说，为什么首相府突然有此宣布？早几个月，不是言之凿凿，说是对卫奕信信心十足，港督职位“没有空缺”的吗？现在下任人选还没法决定，因为先要知道英国大选结果，如此急不可待地要宣布此人退休，给人的感觉，就是对现任港督不满，无论如何要撤换。这个讯息之强烈，是任何言辞或封衔都难以掩盖的。
《明报》认为，“卫奕信与香港人共度了5个艰辛的年头，若论功过，恐怕受人批评的地方很多，有人批评他对中国官员太软弱，也有人批评他不识时务，以致中英关系数度恶化，但究竟导致他被撤换的，看来不是这类批评。若说他对中方迁就，外交部不是比他更迁就？赫德也尝试过强硬，不也是不得要领？
“向来老板对下属不满，只有一个原因，就是认为他办事不力，为老板带来麻烦，如果带来很大麻烦，那就对他大大不满，非把他调离，要他退下不可了。”
卫奕信提前下台的真正原因何在，舆论一般认为，卫奕信至少有三件事令英国政府尴尬麻烦，第一是居英权，既令首相付出给予五万家庭护照，这个代价在前，又使英政府因这轮慷慨受港人冷落而尴尬于后，一轮扰攘居英权证实效用成疑；第二是新机场问题，与中方弄僵，连累梅杰亲自出马；第三是终审法院协议，中英联络小组的英方承担落空。三件事都可以怪卫奕信身为港督，没能把握住形势，甚至没能准确预测香港人的反应，以致使英国政府处于被动地位。
香港舆论人士认为，“或许末代统治烦恼多，总要个有足够权力的人来大刀阔斧，威风凛凛地掌舵，卫奕信受外交部诸多限制，在中、英、港三方做人难，不如归去了。”“私底下，卫奕信是个君子，看重责任，约束感情，待人诚恳而说话直接。称他为学者并不正确，但他是个读书人，了解原则多于了解权势。说他与本港财团走得不近，他们不喜欢他，大概是真的。”“大概末世读书人治理不了，他们估量要来个真正懂得用手段的人吧。”
虽然换督的传闻在港时有所闻，在英国首相府作出宣布的前几天，英国报章也涌现一片换督的舆论。但对于大部分香港市民而言，换督的宣布是来得很突然的，大家均料想不到九一年将尽之际，还会出现一宗应列为年内香港十大新闻之首的大新闻来。
不单对于香港市民，是一项突然的宣布，从一些蛛丝马迹看，这项宣布对港府高层而言也来得很突然。首先是掌管政府资讯的两位要员，在原来的度岁计划中均没有预备要应付这件突如其来的事件。
请看香港政府高层听到换督前后的活动情况。首先是记者于1991年12月30日晚接近十一时，获悉英国首相府将于翌晨公布换督决定。记者的第一个反应自然是向港府查询，不过，资讯统筹处长韩新正在放大假，身不在港；随后记者致电政府新闻处处长邱李赐恩家中，也没有找到。接电话的家人说，她去听演唱会了，听罢会在外吃宵夜后才返家。当然，邱太当晚并没有去听演唱会，而是在港督府开会，研究突然由伦敦飞来的信息。
据可靠的消息说，港督的顾问——行政局议员们也是在当日下午才获悉换督的消息。至于英国首相府为何决定这个时候作出宣布，以及为何又拖着不同时公布下任港督人选，则连行政局议员也丈二金刚，摸不着头脑。
记者接触过不同背景的立法局议员，虽然他们对于卫奕信出任港督这五年的功过，有褒有贬；对于下任港督在处理中英关系问题上，态度应如何也有不同意见，但他们有一点是共通的，就是对于英国这次既宣布换督，却又不同时公布下任人选感到不满。他们认为，英国此举只图自己方便，不理事情的安排是否对香港有利。未来几个月下任港督是谁的揣测不断，固然对香港无好处，但到底这样的安排对英国执政保守党而言，是损人（香港）利己，还是损人而不利己，还要拭目以待。
1992年1月1日早晨，卫奕信接受了记者访问。有记者提出，换督是否是一个突然的决定，有否征询你的意见，你何时才得悉这个决定。
卫奕信回答称，“我早已意识到。在92年我首5年任期完结后会否更换人选这个问题，我亦已意识到这件事已酝酿一段时间。决定现时作出公布的决定，是最近的事，但我早已意识到这件事。”可以看出，英国政府的换督决定，没有征询卫奕信个人意见，他也是突然接到通知的。
与中国的合作
英伦之所以决定在香港的关键时刻突然换督，不是偶然的决定，只要回顾卫奕信在港期间的表现，就理解了英国的用心。据巴图所著《别了，港督》一书介绍。卫奕信在任期间，他给香港居民和中国人民留下的好印象比其他总督要多一些。在与中国的关系上，他表现了一定的远见和政治家的胸怀。
1989年的北京政治风波是他所遇到的最大考验。
当时，香港极少数人配合国际反华逆流，挑唆英国政府和香港