霍英东的祖籍是广东番禺，后来迁到香港，其原因与时间均无可考证。
霍英东于1922年生于香港一个水上人家，一家人靠一叶舢板从事驳运为生，海上风险与世事的艰辛使一家人很难得到温饱，破壁残檐，难抵风寒之侵，缺粮少炊，经常有上顿没下顿。7岁那年，霍英东的父亲不幸在狂风大浪中船毁人亡，家庭生活失去支柱，一家人在海边伤心地号啕痛哭。两个哥哥担起了家庭的重担，子承父业，又飘洋出海，厄运接二连三地降临，海上先后漂来他们的尸体，英东欲哭无泪，茅屋再次为秋风所破，生活的恶浪将剩下的霍氏孤儿寡母由海边冲到陆上。
霍英东的母亲以柔弱的双肩撑起这个家，意志坚决，毅然带着7岁的霍英东与他9岁的姐姐“上岸”，住在湾仔一座摇摇欲坠的旧楼里，以避免再有丧亲之痛。
白天，霍英东的母亲继续经营蝇头小利的驳船商品生意；夜里，她与两个孩子挤在一间租来的房间里，那里都是穷人，一间楼层竟有50多个房客，非常拥挤，非常肮脏，加上肺痨病流行，旅馆到处都是肺病患者，生活之艰难，可见一斑。
他家虽然穷，但母亲仍然让霍英东上学，由于家庭的艰难困境，霍英东读书十分刻苦努力，并培养了他的坚定的意志，在私立皇仁书院（一所慈善学校，免费就读）读书期间，虽然他只上了3年学，但受到老师与同学的好评，是一个成绩优秀的学生。
家里实在太穷了，霍英东再也不忍心看到母亲的过分操劳，决定辍学回家，外出打工，自食其力，缓解家庭的生活压力。18岁的霍英东走向了社会，在最底层开始了艰难的挣扎。
霍英东的第一份工作是在一艘旧式的轮渡上做加煤的苦工，整天弄得黑不溜秋，人称他是“黑娃”。尽管他十分卖力，但很快就触上“霉运”，老板一声责骂，将他“炒了鱿鱼”。
霍英东又四处找工作，都是重体力的活，多次被解雇，主要原因是他家太贫穷，长期营养不良，瘦骨嶙峋，体重最多90斤，求职时，多次受到冷遇，好不容易找到一份工作，也不长久，没有足够的体力来进行超负荷的、夜以继日的苦力劳动。后来，他回忆说：“早上时，体力还可以。但到了晚上，我就感到身心都疲惫不堪。我当时一日三餐都是吃不饱的。”
香港沦陷，日军为所欲为，侵略者踢开店堂大门，抢劫里面的金银财宝，不少房子都被他们贴上“大日本陆军管理”、“大日本海军征用”的木牌，甚至连慈善机构也不能幸免。香港陷入一场大灾难。
“在短短的几天之内，一个歌舞升平的美丽城市顿时变得死气沉沉，所有商店关了门，日用必需品买不到了，满街都是垃圾、废报纸之类的东西。每个市民欢乐的笑脸不见了……居民最困难的是粮食恐慌。所有粮店都关了门。在偏僻的地区，小孩失踪，出卖人肉的事也时有所闻。”
在这种情况下，霍英东几乎在死亡线上挣扎，留下了刻骨铭心的伤痛，产生了希望中国强大、努力报效祖国的理想，并将自己的名字改为英东，是希望英雄出自东方，意指中国的强盛。
抗日战争后期，他的母亲与几个友人合伙开了一间小杂货店，霍英东帮助母亲照管有关买卖，帮忙记账，也招呼顾客，开始了解到商场上的买进卖出。他后来谈到这段经历对自己的影响：“在繁忙的时间，你会发现自己面对20个顾客，如果你不能做到面面俱到，顾客就会舍你而去。同时，你要具备敏捷的算术头脑。杂货店晚上10点钟关门，但我由早晨工作到午夜，每星期7天。”
穷则思变，人勤地不懒。除了勤奋的精神外，霍英东从小就有远大的抱负，暗下决心：如果自己长大了，一定要创办自己的一番事业。处身社会后，他非常留心周围发生的情况，仔细观察社会，寻找办事业的机遇。
抗战结束后的一天，霍英东从报上看到有一批战后剩余的物资准备拍卖，价格相当低廉，但由于人们认为这些战争物资没有市场，参加竞拍的人不多。一无所有的霍英东冒险走向了拍卖场，鼓足勇气，一举竞拍成功。
事后，他却犯了愁，从哪里筹到这笔钱？他向母亲借，母亲一脸阴沉，因为家庭的生活压力就不少，决不能将生存之本投向毫无希望的举动。由于霍英东从小就生活在海边，同父亲、哥哥一样具有霍氏家族的冒险精神。因此，霍英东的母亲非常担心，小心翼翼地将家里的钱藏了起来，不让霍英东经手。
霍英东似乎无路可走了，但他没有退缩，决心办成此事。他四处寻找一些难兄难弟，向他们多借少借都行，只要肯借。好在他人缘好，总算凑足了4万元钱，得到了这批物资，一心一意静待收获的日子。
随着香港经济的复兴，物价上涨，这批货开始变得紧俏，一时身价百倍，出手后，霍英东赚到人生的第一笔财富。这是一笔小小的财富，但它毕竟是白手起家的尝试，是冒险与胆识的收获。他格外珍惜这次经历，并坚定了创业的信心。
