梁湘未满十三岁就小学毕业了。1932年秋天，他跟同村的兄弟梁奇达、梁松杰等人离开开平来到省城广州市，在北郊外一所私立的大中中学（即现在的广州市第十七中学的前身）读初中。大中中学的校长名叫温展鹏，办学认真，治校严谨，因而大中中学在广州市内声名鹊起，与颇有名气的知用中学齐名。大中中学对学生的开明，允许学生办壁报，演街头剧，支持爱国救亡。入读中学的学费和伙食费等，一年约需近百银元，梁湘的开销主要是来自父亲的汇款。他从初中一年级直到高中二年级，都是在大中中学度过的。
当时的广州是革命策源地。在大中中学读书期间，梁湘有幸接触到处于秘密活动中的中国共产党人。大中中学规模不大，没设学生寄宿，梁湘在省城无亲无故，只好与梁奇达一起在学校附近的小北仓边路一所公寓中，各自租了一个床位栖身。公寓设施十分简陋，一个不足十平方米的小房间里放两副木板床，一张小书桌，两张椅子，租给两名客人居住。不过房租比较便宜，月租不到三个银元。梁湘家境不算富足，他住了下来，还是感到挺舒适的。
1931年“九一八”事变后，日本侵占中国东三省，进而蚕食中国大片领土。1934年，公寓住客中新来了一位身材高挑、面目清瘦的青年人，他叫邱柏藻，在广州市第一中学念高中，比梁湘长两岁。他为人性格内向，沉默寡言，早晨在碰面时，总是礼貌地说一句“早上好”，时间一长，彼此也便相熟了。同是寄人篱下，梁湘与邱柏藻共同语言很多，友情日渐深厚。邱柏藻悄悄地对梁湘观察了一段时间，对他的印象很好。他觉得梁湘读书用功，老成踏实，勤劳俭朴，待人淳厚，好一个农家子弟。于是他就经常来到梁湘的房间，切磋学业，促膝谈心。有一晚，临离开梁湘房间时，邱柏藻有意留下一本由邹韬奋主编的《读书生活》杂志放在梁湘的床上。翌晨，他匆匆走来向梁湘索回刊物。交谈中，他得知梁湘昨晚一口气读了杂志，并对文章中谈及劳动大众生活在水深火热之中等观点颇为认同。尔后，邱柏藻就常常给梁湘送来《读书生活》《大众生活》《世界知识》等读物。梁湘对这些刊物如获至宝，把它们看成是指导生活的良师益友。
新学年又开始，在一次假日同学们到郊外远足旅行活动中，邱柏藻推荐梁湘参加了共产党的周边组织——“读书会”的秘密活动。
在“读书会”的指导下，梁湘课余时间阅读了《大众哲学》《社会主义概论》《政治经济学》《国家与革命》等大量书籍，他特别喜欢学习社会发展史、中国近代史和高尔基《母亲》《我的大学》，以及《铁流》等苏联文学作品，还有鲁迅、茅盾、巴金、丁玲、蒋光慈等人的作品。每当读完一本书，大家就聚会在一起，漫谈感受和心得，如何在国家危难、政府腐败的社会中寻找出路。
到了暑假，梁湘没有回乡探亲，而是率领十多名“读书会”的成员，到四会县去给老百姓讲演、演出活报剧，在四会县城，发动当地的青年学生举行一次火炬抗日宣传游行，震动了整个四会，惊动了国民党县党部。
1934年冬，梁湘和梁奇达读到《论苏区目前形势和为发展五十万工农红军而奋斗》的传单时，情绪激动，跑回开平家乡，拿了一点盘缠，准备跑到江西苏区投红军去。正要动身时，又得知红军开始转移，才没有成行。
1935年是决定梁湘人生命运的一年。
黄梅时节，原在中共上海出版部从事在学生群众中发行推销马克思、恩格斯、列宁、斯大林著作的中共党员王均予，因为上海地下党遭到破坏，跑到广州来，经营一家小书店。梁湘常常去王均予的书店阅读、买书。透过邱柏藻的牵线，梁湘与王均予交上了朋友。王均予比梁湘长八岁，梁湘和邱柏藻都管他叫“老头子”。是年秋天，王均予时常以“大表哥”的身份到公寓探望梁湘，向他讲解国内外时事，介绍俄国十月革命和中国工农红军。有一次他带梁湘到越秀山郊游，给梁湘讲解人生的道路，他指着山巅巍峨的中山纪念碑，说：“人终有一死，但要死得有意义，不要做庸庸碌碌的人，更不能做贻害国家民族的人，而应选择为劳苦大众求解放的道路。”
1935年秋天，王均予介绍梁湘秘密参加了刚刚成立的“中国青年同盟”（中共党组织直接领导下的周边秘密组织）。翌年10月，中共广州市委重新组建成立，梁湘就由中国青年同盟的成员转为中国共产党党员。同一时间成为广州市的共产党组织第一批党员的，还有跟梁湘一样从家乡出来，在广州市中山大学读书的同村兄弟梁嘉，以及曾生、罗范群、钱兴、周明、王作尧、陈翔南等人。不久，梁奇达也被吸收为广州市地下党党员。这批人后来都成为广东广州地下党组织的骨干力量，曾生还是赫赫有名的由中国共产党领导的广东人民抗日游击队东江纵队司令员，梁嘉是东江纵队的支队司令，梁奇达后来担任暨南大学校长。开平县博健乡梁湘、梁嘉、梁奇达“三梁”的英名，饮誉乡梓。
早在1935年4月，王均予北上天津，与中共北方局接上了关系。北方局考虑到广州地区已经长时间没有党的组织，而青年学生在民族、民主革命浪潮中，经过“一二·九”运动的锻炼，已有了群众基础，“中国青年同盟”成员可以作为建党对象，命王均予回广州从事建党工作。是年7月间，王均予回到广州后，就着手进行重建广州党组织的工作。1936年10月初，中共广州市委正式成立，归是年9月成立的设在香港的中共南方临时工作委员会直接领导，王均予任市委书记。
梁湘一边读书，一边以大中中学的学生身份作掩护，在中共广州市委机关担任工作。他的任务是秘密接头联络和印发文件。香港或内地的地下党组织派遣人到广州工作，梁湘就出面跟来人接头联络，通过“你是要笼虾饺烧卖？”“不，我要一碟咸煎饼。”互对暗号，弄清身份，确认是自己人，没有被国民党特务盯梢，然后再将来人领去见王均予。位于中华路（现称解放北路）与现在东风路交叉点旁边的如意茶楼，成了梁湘与外地地下党来人接头的地点。他的工作要隐蔽秘密，随时都有被捕、杀头的危险，而谨慎机灵的梁湘却从未出过事故。
1937年夏秋之交，中华民族正处于生死存亡的危急关头。中共广东地下党内部，对当时统治广东省的陈济棠的抗日反蒋态度的看法、对中国西南地区革命形势的分析发生严重分歧。于是，中共南方临时工委决定改组广州市委领导班子，成立新的市委领导机构，把王均予排除在新班子之外。
王均予刚刚在陕北延安出席了中共中央召开的一个工作会议，会上听了毛泽东关于时局的讲话，匆匆赶回广州，传达会议精神。当他得悉广州市委已被改组，自己不再是那里的领导人时，深感委屈，郁郁不乐，认为自己是重建广州地下党组织的有功之臣，现在却被甩在一旁坐冷板凳，很不服气。他交代梁湘给他整理有关文件资料，他要再到延安去，向党中央上诉。这件事在梁湘思想上震动很大，梁湘第一次碰到了党内矛盾，他感到诧异惊讶，困惑不解。
就在梁湘困惑的时候，北京西南郊卢沟桥畔发生了震惊中外的“七七事变”，抗日战争爆发。广州不时遭受日本飞机的空袭。广州市民拖男带女，扶老携幼，或逃到远离省城的偏僻农村去，或跑过罗湖桥，到英国殖民统治下的香港去，有钱人家则移民到国外去。
这时，梁湘接到父亲远从加拿大卡尔加里寄来的一封长信，字里行间洋溢父亲无穷的忧虑，担心在兵荒马乱中儿子的人身安危。信中诉说：“我现今在卡尔加里经营的杂货铺生意兴隆，而人手欠缺，急需百生你火速到加，协助父亲料理业务。”末尾还再三叮咛：“我几十年来劳碌奔波，无非是为了子孙后代着想，父亲不会指条黑路你走。百生，这回你一定要听父亲的话，赶快到加拿大来。”词恳意切，慈爱之心跃然纸上。
