1931年春节到了，监狱当局为表示“仁慈”，要在大年初一给犯人改善生活，答应给犯人吃白面馒头、猪肉炖粉条。结果，白面里掺了1／3苞米面，猪肉炖粉条几乎看不见肉。难友们非常气愤，杨靖宇发动难友们进行集体绝食斗争。典狱长见犯人情绪激愤，生怕事态扩大，只好妥协，保证今后一定按规定标准办伙食。
1931年4月，杨靖宇出狱，他第一件事就是寻找党组织，请组织马上安排工作。因杨靖宇所住旅店是党的外围组织互济会开办的，日本警察署从被捕的互济会成员的会议记录中发现杨靖宇的名字，因此，三天后杨靖宇又被逮捕。
1931年9月19日，中共满洲省委发表《为日本帝国主义武装占领满洲宣言》。9月20日，中共中央发表《中国共产党反对日本帝国主义强占东三省事件宣言》，号召全国工农兵劳苦大众团结起来一致反对日本强占东三省。11月，经党组织多方设法，杨靖宇被营救出狱。
省委考虑杨靖宇在狱中身体遭到严重摧残，让他先休息一段时间，他恳切地说：“在敌人监狱里，我并没有累着，只要我还活着，就要为党工作。现在国难当头，我怎么能呆得住？”省委根据杨靖宇的一再请求，决定让他担任东北反日总会会长兼哈尔滨道外区区委书记。
在血腥的白色恐怖中，党的秘密工作极具危险性、突然性、残酷性，稍一不慎就会给党组织、战友带来巨大损害。杨靖宇凭着机警、智慧、果敢，积极组织工农大众开展反日斗争，在工厂、农村、学校甚至伪警察中建立了反日组织。
1932年5月，中共满洲省委决定，杨靖宇任中共哈尔滨市委书记兼满洲省委代理军委书记，组织领导民众开展武装反日斗争。杨靖宇在哈尔滨工作的时候，常常在寒风凛冽、砭人肌骨的清晨，同摆冰滑子的工人一起劳动，借此联系群众，进行秘密工作。同时他还与铁路和工厂的工人们、青年们进行商讨……他常常以机智机巧的动作结合大胆勇敢的行动，躲过敌人走狗的跟踪，冲破敌人的防范。
1932年11月，中共满洲省委决定，杨靖宇作为省委巡视员到南满地区的磐石、海龙等地检查指导工作，从此，更名为杨靖宇。
1932年6月，磐石中心县委在打狗队（以清除敌人奸细为目的的抗日组织）的基础上建立了一支30多人的队伍——磐石工农反日义勇军，同日伪军展开武装斗争。同时义勇军团结、争取了抗日山林队常占的队伍共同抗日。由于县委主要领导没能客观公正、耐心细致地做思想政治工作，用简单粗暴的方式处理复杂的关系和事态，致使队伍分裂，常占的部队脱离义勇军，义勇军面临严重危机。就是在这种形势下，杨靖宇奉命巡视南满。他要找到磐石中心县委和游击队，组织发动民众，壮大抗日武装力量，同日本侵略军进行殊死的决斗。
抗日名将
历尽坎坷和风险的杨靖宇在交通员的帮助下，终于找到了中共磐石中心县委和游击队。此时的磐石工农反日义勇军，士气低落，连磐石工农反日义勇军的旗帜都不敢举，而是学着山林队采用的形式，以“五洋”报号，活动于桦甸县常山屯一带。就在这关键时刻，杨靖宇来到队上。他通过与党团员、干部、战士谈话了解队里情况及人们的思想状态，开展积极的思想政治工作，鼓励大家坚定斗争信心。
杨靖宇对大家说：“我们这个游击队是由共产党领导的，是为打日本鬼子建立的队伍。可我们为什么要像山林队那样抱个山头，叫‘五洋’呢？难道这样偷偷摸摸地就能把日本鬼子打跑吗？”队伍中有些人辩解道：“我们队伍力量太小，磐石地方又到处是胡子窝，只有抱个山头活动才方便、安全些。”“队伍力量小，我们可以去发展去壮大，你抱了山头，山林队能瞧起你们吗？磐石有二十多伙山林队，总计数千人，要能把他们团结争取过来联合抗日，我们的力量不就强大了吗？所以，我们必须亮出工农反日义勇军的大旗。”
杨靖宇的话使大家受到很大鼓舞，豁然明白了造成被动挨打的原因。在杨靖宇的说服教育下，队伍统一了思想，提高了认识，全体干部、战士决心在党的领导下，杀回磐石，开展游击斗争。
不久，杨靖宇主持召开了中国共产党磐石县第三次代表大会，决定将磐石工农反日义勇军改编为中国工农红军第32军南满游击队。总队长袁德胜，政治委员杨靖宇。
1933年5月，杨靖宇奉命去哈尔滨参加中共满洲省委召开的传达《中共中央给满洲各级党部及全体党员的信》即著名的《一·二六指示信》的会议。
会议期间，杨靖宇向省委汇报了南满地区政治、军事、经济以及党的工作情况，民众生活的悲惨现状以及抗日游击队的活动发展形势。省委领导听完汇报后，与杨靖宇共同研究了如何在南满贯彻执行《一·二六指示信》的问题。省委决定取消中国工农红军第32军南满游击队番号，组建东北人民革命军第一军独立师，还决定杨靖宇为省委代表，正式调到南满地区领导抗日武装斗争。
1933年9月18日，在日本侵略军占领东北两周年之际，东北人民革命军第一军独立师成立，杨靖宇任师长兼政治委员。为了扩大游击区域，开辟新的抗日战场，杨靖宇决定率司令部保安连、三团八连、九连南下。
10月27日夜，天黑如墨，冷风刺人，杨靖宇率部来到辉发江边。因无船摆渡，只好涉水过江。深秋的江水冒着寒气，战士们好多人还没穿上棉衣，站在江边已经浑身发冷，望水生畏。杨靖宇见状，不顾自己肺病复发，率先跳进齐腰深的江水中。战士们见师长跳下江，也不顾一切，相继跳入江中。江水湍急，站立不稳，杨靖宇拉着一个小个战土走在最前面，他回头对战士们大声说道：“同志们！我们抗日打鬼子，连死都不怕，还怕这江水寒冷吗？只要大家咬牙坚持一下，到了对岸就是胜利！”
杨靖宇到长白山区后会见了山林队头领四海山，四海山依仗人多枪好，并没太瞧起这支抗日队伍。所以，当杨靖宇恳切地谈起要联合起来抗日时，他表示要联合抗日可以，但你们必须做到一件事，杨靖宇问什么事，他说，大汉奸邵本良平时残害百姓，你们若能把他给收拾了，我四海山就带领所有的山林队弟兄跟你去打鬼子。
邵本良原是土匪出身，后被张作霖收编并委任为团长。“九一八”事变后投降日寇，任伪满军少将旅长。他凭着兵精将勇、训练有素，也根本没把杨靖宇放在眼里，曾扬言：“有我邵本良在，就没有他杨靖宇！”
1933年秋天，杨靖宇巧使调虎离山计，先率兵攻打凉水，凉水的敌人守不住了，马上向邵本良报告，请求救援。凉水距柳河县城125华里，是邵旅后勤基地，邵本良视为命根子。邵本良迅速率200多名骑兵向凉水奔去。经过3个小时狂奔，到达凉水，邵本良拿起望远镜，发现根本没有战斗的迹象。正在疑惑间，凉水守军连长前来报告：“三源浦被杨靖宇包围，请旅长速去救援！”邵本良暴跳如雷，举起马鞭狠抽这个连长：“不是你报告的杨靖宇快攻进凉水了吗？怎么一会儿功夫他又跑到三源浦去了？难道他有分身术？”连长结结巴巴地说：“刚开始攻得很厉害，打了一阵他们就撤走了，谁知道他们上哪了？”邵本良勒转马头，大喊：“快去三源浦！”
当邵本良赶到三源浦时，只见邵旅七团驻军营房被烧，烈火熊熊，浓烟直上天空。驻军一个连被歼，伪满铁路工程局被捣毁，警察署被端窝，日本缉查局长被俘虏。
就在邵本良在三源浦面对被烧的军营发呆时，杨靖宇率部急行军又攻占了凉水。邵本良气疯了，咬牙切齿地吼叫：“杨靖宇！你可真够狡猾的，我邵本良不报今日之仇，誓不为人。”
邵本良吃了败仗，向日本主子请求增派了兵力后，率大队人马向杨靖宇的驻地逼近。杨靖宇看见至少有两千敌人往山上爬，对参谋长说：“告诉战士们沉着点，等敌人靠近了再打。”
敌人越来越近，杨靖宇一声令下，“打！”顿时，枪声响成一团，被击中的敌人成片倒下，后面的敌人见状，转身连滚带爬往回逃。在打退敌人几次进攻以后，枪声逐渐停了下来。这时，一个战士押着一个伪军过来报告：“我们抓了一个俘虏，这家伙东张西望的，就好像是特意在等咱们似的，这是从他身上搜出的信。”拆开信一看，是邵本良写给驻守东南方向营长的命令：你部阵地无险可守，且兵力薄弱，是整个包围圈中力量最弱之处，要防止杨靖宇从你处突围。命令你部，务必守住阵地，我即派东边的部队增援你。若有疏漏，军法从事。
杨靖宇看完信，把信交给了参谋长，参谋长看后指着信说：“这下子邵本良暴露了自己的底细。”杨靖宇道：“不那么简单。你看四面的篝火，东南边的最少，按常理说明这里守军最少。像派兵增援这么重要的军事机密应该快速安全送到，可他为什么却要往我们眼皮底下送呢？”杨靖宇觉得其中一定有诈。杨靖宇分析，邵本良说的兵力最弱的地方正是防守最严密的地方，一个完整的突围方案在杨靖宇心中形成。
午夜，杨靖宇率领队伍来到了林中高地，从藏粮食的苞米垛底下取出缴获的日伪军服、战刀、钢盔、武装带等。大家伪装后迅速逼近敌人营地，这时一个日军小队长跑到一位当官的面前报告：“除了巡逻警戒的，都在休息。”那位当官的打了小队长一耳光说：“红军已被我们包围，你们竟敢睡觉，就不怕红军从你们眼皮底下冲出去吗？马上集合。”小队长忙去集合队伍。
杨靖宇见时机已到，一声命令：“准备战斗”，战士们弹上膛，刀出鞘。待日军士兵聚集到宽阔地后，杨靖宇一声令下，日本兵没等明白怎么回事，就全部被消灭。当邻近的敌人赶来时，抗日联军早已无踪影了。
杨靖宇不计前嫌，多次帮助一些山林队与日伪军激战。一次，田麟队与邵本良旅六团相遇。激战中，田队渐渐不支，被逼进沟底，形势异常危险。杨靖宇闻讯率部队急忙赶来救援，抄敌人后路一阵猛打，敌人返身仓皇迎战，田队乘势反击，田麟得救，想拜谢救命之恩时，杨靖宇已率部队追击敌人去了。此前，田麟部下曾开枪打死打伤杨靖宇部队的战士，而今杨司令不计前怨，亲自率部队来救，令田麟感激涕零，并后悔未能见到杨司令。
1934年正月初八，杨靖宇率部来到城墙砬子，在他的争取、团结、教育下，山林队的首领将在这里与独立师举行抗日军联合大会。
参加抗日军联合大会的共17支抗日队伍。杨靖宇代表满洲省委首先讲话，他讲述了中国共产党坚决抗日并团结一切抗日力量组成民族统一战线的政策，分析了东北抗日斗争的形势。各队首领也踊跃发言，坚决拥护中国共产党团结一致、共同抗日的主张。会议决定成立抗日联合军总司令部，通过了抗日联合宣言：“我们——南满的抗日领袖们，在祖国山河欲裂、严重危难之际，向东北同胞宣誓：我们一致拥护中国共产党的坚决抗日主张，不分见解、信仰，枪口一致对外，驱除日本帝国主义。”会议一致选举杨靖宇为抗日联合军总司令。
威震南满
杨靖宇的队伍在与敌人的斗争中不断发展壮大。1934年11月7日，在临江县板石沟成立了东北人民革命军第一军，杨靖宇任军长兼政治委员。
1936年4月下旬，邵本良旅士兵被杨靖宇率部牵着走了一个月的时间。邵本良几次受创，心中既恼又恨。当发现了红军行踪时，他便发誓一定要消灭杨靖宇，并摆出决斗架势催师猛追。杨靖宇却避实就虚、忽东忽西，搞得邵本良晕头转向。时机一到，杨靖宇就打他个伏击，把邵旅拖得精疲力竭。
4月30日，杨靖宇率部队来到本溪县梨树甸子。为了消灭敌人，第一军制定了四不打战略：1.地形不利不打；2.不击中敌要害不缴获武器不打；3.付出很大代价不打；4.对人民造成损害不打。梨树甸子两边是山，中间只有一条路，是绝好的作战地点。战士们埋伏等待敌人，当邵旅进入包围圈时，杨靖宇指挥枪响。邵本良见中埋伏，急令部队后撤，但后路被密集的火力封锁。邵本良见大势已去，强扒下小兵衣服套在身上打马飞奔而逃。
杨靖宇又率部队来到与独立师结下鱼水深情的白家堡子。
爬上岗顶往下一看，杨靖宇和大家都震惊了：往日熟悉的屯堡变成一片焦土，房屋倒塌，烧焦的房架还在冒着青烟，随风吹来一阵浓臭的血腥味和乌鸦的乱叫及野狗争食的狂吠。这真是一幅目不忍睹的人间惨相，所有的房屋都被烧毁，几经搜寻竟不见一个活人。最后，在哈尼河边一个废弃的地窝铺里发现了受重伤的郭大叔，从郭大叔忍痛的叙述中，杨靖宇知道了事情经过：因这一带百姓经常帮助红军，引起日伪军的注意。1936年7月7日，日军守备队从屯中抓了十几个人，让他们带路去找红军，转了一天也没找到。第二天又抓了100多人去德威岗搜毁罂粟花，走到王志明沟坎，守备队遭抗联袭击，11人被打死，百姓趁机逃散。这下惹怒了敌人，他们把白家堡子周围25公里划为“通匪区”。
7月15日，几百名日伪军出动，对白家堡子进行血洗，见房就烧，屯堡变成一片火海，见人就抓，走不动的病号、产妇、老人当场被杀死。全村男女老少400多人被押解到大荒沟日本守备队院内。日本鬼子逼问红军所在地，没人出声。敌人从人群中挑出十几个身强力壮的年轻农民逼问，见没有人吱声，便对十几个农民进行严刑拷打，这些农民宁死不屈，气急败坏的日本鬼子将这十几个农民活活折磨致死。
下午，疯狂的敌人将400多百姓强行押到村外东山根下，用机枪扫射，400多人倒在血泊之中。鬼子怕有幸存者逃出去，竟灭绝人性地对着每个尸体再刺上几刀，连在母亲怀里吃奶的婴儿也不放过。郭大叔所幸未被打中要害，虽挨了刺刀，但还是得以生存。这就是万恶的日本侵略军制造的惨绝人寰的“白家堡子惨案”。
杨靖宇得知，血洗白家堡子的日军守备队及邵旅留守团改编为“日满混成警备旅”，将卷土重来。他决定在敌人必经之路的险要地段设伏，消灭邵旅，夺取军用物资。
八月盛夏，邵本良和英俊志雄骑着马率领主力移防。邵本良和英俊志雄都格外小心，不时地督促队伍加速前进。当行至杨靖宇的部队埋伏的黄瓜地时，杨靖宇发出战斗命令：同志们！为白家堡子死难同胞报仇的时候到了，狠狠地打！邵本良大惊，未来得及下马就被打翻在地，英俊志雄于乱军中挥舞军刀，命令部队撤离公路。突然，江边柳树趟子里飞出一颗颗手榴弹，弹飞如雨，日伪军成片倒下。日伪军经不住两面夹击，仓惶之间逃的逃、降的降。
打扫战场时，没有发现邵本良。原来，邵本良看败势已定，趁乱钻进江边一个草堆里，直到红军撤走，才探出头来。后来他用枪逼着来江边割草的朝鲜族老人脱下外衣，装扮逃走。
几个月后，在山势险峻、道路崎岖的金川回头沟，杨靖宇率部再次将邵旅主力包围。激战中，邵本良身负重伤，在护兵相救下逃回八道江。
