1992年，霍文芳被霍英東重金保釋出獄后，霍英東便在報紙上宣布與其斷絕父子關系而樹倒猢猻散。
在霍英東去世后，霍家大權就主長在長房手中，對比之下，其他兩房的孩子就有些默默無聞。
馮堅妮是三位夫人中露面最多的一位，霍英東在遇到她的時候，早已娶妻生子，不過他對妻子敬重有加，要說愛情倒是沒多少，兩人是因父母之命而走到一塊的。
那時的霍英東和母親生活拮據，還未在商界嶄露頭角，一切都未知數，只是年齡到了聽從母親的安排娶妻生子來延續香火，妻子陪他度過了那段艱難的歲月，看著他從普通人變成了個出色的商人。

在有了足夠的資金后，霍英東正視起來自己的感情需求，馮堅妮的出現讓他嘗到了愛情的滋味，但這段感情遭到了母親的阻止，在母親心中自己最滿意的兒媳婦是呂燕妮，她不希望再出現個女人摻和進來。
這畢竟是霍英東的初次戀愛，他沒有和馮堅妮斷絕關系，而是斷斷續續的交往了五年，而馮堅妮雖然同樣很喜歡他，但年齡大了后就要為自己考慮，她和其他男人結了婚，生下來個孩子。
不過這段婚姻沒能走到最后，她又來到了霍英東的身邊，這次她不是獨身一人，她還帶著自己的兒子霍文芳，之后她生的孩子都按照文字來起名，和大房的孩子區分開來。
雖然馮堅妮是自己喜歡的女人，但霍英東在家族的傳承上分的很清楚，霍家的家族企業最后是要由大房的孩子們繼承的，大房的地位不容動搖，三個兒子的道路他都安排的明明白白，用心良苦。
而霍文芳在來到霍家后，見識到了自己和霍震霆兄弟三人的差距，他沒有理解霍英東的良苦用心，在長大后開始往商業上插一腳，他做的可不是普通的商業，而是在美國走私軍火，望著自己是霍家人的身份，游走在危險的邊緣。

這種事情不管放在哪個國家都是非常危險的，霍文芳的驕傲自大埋下了隱患，他漸漸不滿足于小打小鬧，手里的貨物越來越多，結果1991年的時候，在美國一個機場被抓了起來。
這時霍英東才知曉這個繼子干了什么好事，他頓時怒不可遏，本來他就反對其他子女從商，沒想到霍文芳一來就搞出個大的，實在是讓他顏面喪失，氣的他當著馮堅妮的面大罵霍文芳。
但不管怎么說他都是霍家人，這么多年的相處，霍英東對這個兒子又不是沒有感情，在花費了巨額資金將霍文芳撈出來后，霍英東就將他大罵一頓，氣的直接公開登報和他脫離父子關系。
后來霍英東再見到他的時候，只當沒看見他這個人，懶得與他多說話，父親的態度都表現了出來，霍家的其他孩子自然不敢與霍文芳再多聯系。
而霍文芳在經此一事后并沒有洗心革面，改走正路，仗著霍家人的光環在外搞了個投資基金管理公司，不了解他之前情況的人一聽，以為是霍家自己的產業肯定不會出問題，放心大膽的投進來幾百上千萬的資金。
剛開始的時候，一切顯得都很正常，投資者能拿到不少的利息，在嘗到甜頭后，他們開始往里面投入了更多的資金，沒想到這次公司就開始賴賬，利息沒有，本金也要不回來，其中不乏許多娛樂圈的知名人士被騙。
等到事情鬧大之后，霍文芳站出來表示自己和這個公司根本沒有關系，他們就是在打著自己的名頭辦事，這純屬就是在胡說八道。而且在霍英東去世后，他居然還好意思向霍家爭要遺產，外界知曉后都對他的厚臉皮感到無語。
參考來源：
霍英東繼子投資公司涉詐騙 破壞霍氏在國人心目中形象環球網
霍啟剛三代不敵香港四大家族 郭晶晶力壓章子怡入豪門環球網