1929年，35岁的赫鲁晓夫来到莫斯科，在斯大林工业学院学习冶金，并担任学院党委书记。1935年，由于他监督建成莫斯科地铁，被授予列宁勋章，并在这一年当上莫斯科市长。在斯大林搞大清洗运动期间，赫鲁晓夫积极支持斯大林的工作，并参加了在党的领导层内进行的大清洗工作。到1939年，赫鲁晓夫成为政治局正式委员。在1941～1949年这一段时间内，赫鲁晓夫都在地方工作。1949年，斯大林把他调回莫斯科，重新担任莫斯科市委第一书记，同时兼任全苏中央委员会书记。在斯大林去世以前，赫鲁晓夫在莫斯科的日子过得并不舒心。政治嗅觉敏锐的他知道自己只不过是斯大林宫廷政治的一颗微不足道的棋子。为了不成为政治斗争的牺牲品，他夹起尾巴做人，从不愿在斯大林面前展现自己；并且也因为莫斯科大规模重建，面临着许许多多的问题。但他十分关注莫斯科州的农业问题，开始在莫斯科州推行其“农业城镇”的计划。但由于不切合实际，当时掌管农业工作的中央政治局委员马林科夫认为他的思想还不成熟，并且斯大林对此也不喜欢。于是赫鲁晓夫的天才设想就暂时被扼杀了。
但这并没有使他在斯大林心目中的地位有所动摇，在1952年10月5日召开的党的第十九次全国代表大会上，赫鲁晓夫进入主席团常务委员会，五个常务委员会成员负责处理国家最重大紧要的问题。1953年3月5日，斯大林病逝，但他没有交代好接班人问题，因此赫鲁晓夫等人为了取得最高权力相互之间展开了明争暗斗。
斯大林病逝后，赫鲁晓夫最害怕的是最高权力落于野心家、阴谋家贝利亚之手。如果贝利亚得手，对党和国家有百害而无一利，因此赫鲁晓夫想方设法加以阻止。
除了贝利亚想攫取最高权力外，马林科夫也有同样的野心。在这场激烈的争斗中，赫鲁晓夫小心翼翼地活动着，他不想因一着不慎而导致自己翻船。赫鲁晓夫首先与布尔加宁就此问题达成一致意见，但仅凭两人的力量显然不行，在他的积极活动下，又取得了朱可夫的支持，这对他是一个很大的鼓舞。但必须得到马林科夫的首肯，因为马林科夫一直是斯大林班底中最有权势的人物。可他想不到的是，老奸巨猾的贝利亚已抢先一步说动了马林科夫，两人在权力分配问题上取得了一致意见，这样马林科夫和贝利亚两人暂时结成同盟。面对强大的两个权势人物的联盟，赫鲁晓夫暂且屈服了。他想隐忍下来以相机而动。
贝利亚掌握着强大的国家安全机构——内务府，起分支机构和特工人员遍布于全国上上下下所有的组织和部门中。并且，贝利亚也统辖着保护克里姆林宫及所有苏维埃政府中高官和中央主席团成员的卫队。贝利亚趁为斯大林举行葬礼之机，将大部分军队调到首都附近，有的团队干脆在市内屯扎。这样做目的非常明确：发动军事政变，夺取最高权力。贝利亚的帮凶们也积极谋划，为贝利亚夺权扫清道路，他们将“医生谋杀案”的凋查局头子清除出去。当然贝利亚对赫鲁晓夫也不敢放松警惕，他密切注视着赫鲁晓夫的一举一动。自然，贝利亚的这些活动也在赫鲁晓夫的掌握之中。他意识到贝利亚快要动手了。
为了尽快采取行动，逮捕贝利亚，赫鲁晓夫终于下定决心去说服马林科夫，以取得他的支持。马林科夫虽与贝利亚结成了临时同盟，但无时无刻不在提防着贝利亚，而且他也受不了贝利亚那种唯我独尊、颐指气使的傲慢劲。他知道，贝利亚根本没把他放在眼里，而且正妄图取得最高权力。因此马林科夫以为是采取行动的时候了，他同赫鲁晓夫共同制定了逮捕贝利亚的行动计划，并决定在部长会议主席团或中央委员会主席团的某次会议上采取行动。
1953年7月，部长会议主席团和党中央主席团将要举行一次联席会议。在会议召开前夕，马林科夫就解除贝利亚职务问题取得了伏罗希洛夫的认可。赫鲁晓夫同米高扬商谈，但未取得他的支持。但赫鲁晓夫管不了那么多了，他必须立即动手。回到克里姆林宫后，知道了伏罗希洛夫的态度，他知道可以动手了。于是他找了个地方坐下，专等贝利亚进来。贝利亚进来落座后，会议开始了。除了米高扬外，大家一致谴责贝利亚。马林科夫早已等得不耐烦了，他按计划逮捕了贝利亚。这样赫鲁晓夫和马林科夫少了一个强有力的竞争对手。
赫鲁晓夫深知马林科夫野心也不小，也是自己通往最高权力的一个障碍，必欲除之而后快。贝利亚被逮捕后，马林科夫成了权势人物，但随着内务部——国家安全部领导集团的解体，权力重心已经发生了转移。作为部长会议主席的马林科夫有事必须向取得最高权威的党中央主席团和书记处汇报。并且已经倒台的贝利亚又栽赃陷害他，使得他非常被动。1953年9月，赫鲁晓夫当选为党中央第一书记，马林科夫逐渐退出权力重心。在纷繁复杂的权力斗争中，赫鲁晓夫技高一筹，逐渐取得最高权力。
曾在30年代斯大林发动的大清洗活动中积极参与并对斯大林的工作予以积极支持的赫鲁晓夫，并不是不想出人头地。但在斯大林面前，善于伪装的他总是夹紧自己的尾巴，老老实实做人。但当他大权在握之后，他已无须再忍了，以前的卑卑怯怯代之以大胆行动。
1956年2月14日，苏共二十大正式召开。2月24日晚，赫鲁晓夫抛出了一份秘密报告《关于个人崇拜及其后果》。报告中赫鲁晓夫对斯大林以前的一些活动进行揭批，他列举了斯大林一手操持的大规模非法镇压活动，并透露了许多囚犯甚至有政治局委员惨遭迫害的事实。
并且披露了列宁在最后岁月里与斯大林发生的冲突，以及列宁提出要将斯大林调离党中央总书记岗位的建议。赫鲁晓夫指出，斯大林在列宁逝世后，盛气凌人，唯我独尊，并且滥用手中权力，破坏、践踏社会主义法制，对持不同政见者打击、报复，不仅排斥异己，而且从精神和肉体上摧残他们。晚年更加残暴，对于自己信不过的人，随便扣上“人民的敌人”的帽子，并以此将他们逮捕、枪毙。他还批判了斯大林错误的民族政策，并且指出，斯大林利用出版《斯大林传略》的机会，过分美化自己，神化自己，并说自己是一贯正确的圣人。报告最后，赫鲁晓夫总结了个人崇拜产生的危害及其导致个人崇拜的原因。
这个报告的出笼，无异于一颗重磅炸弹，在国内和国际掀起轩然大波。这个报告对国际共产主义运动产生了极大冲击，在一些社会主义国家引起了骚动。1956年的波匈事件就是由此引发的。
在苏共二十大上，赫鲁晓夫所作的《关于个人崇拜及其后果》的报告对斯大林个人崇拜问题的揭露，在一些人民民主国家内引发了严重的政治危机。
1956年，波兰统一工人党中央在华沙召开会议，获释出狱的前波兰统一人党领导人哥穆尔卡被增选入中央委员会，并正在积极参与全会的工作。赫鲁晓夫政治嗅觉非常敏锐，他知道哥穆尔卡的复出，肯定会导致波兰局势动荡。形势也正如他所料，波兰工人游行罢工，集体农庄纷纷解体，局势再发展下去，势必对波苏关系产生不良影响。于是赫鲁晓夫迅速作出了反应，他迅速派出前苏联党政代表团前往波兰进行紧急会谈。波兰领导人努力说服了前苏联代表团，让前苏联代表团相信波兰将继续与前苏联保持盟友关系，波兰危机算是平息了。
匈牙利危机就不那么容易控制了。在布达佩斯和其他城市，所有能表现出匈牙利对前苏联有依附关系的标志物被彻底摧毁。一些恢复活动的非共产党人进入政府，大批以前遭受政治迫害的政治难民开始返回布达佩斯。大批的党员干部和保安人员遭杀害，党的各种机构被捣毁。并且纳吉政府要求苏军撤出布达佩斯。这严重危及了苏匈关系，于是在取得中央主席团其他成员的同意后，赫鲁晓夫下令立即武力镇压布达佩斯暴乱。在前苏联坦克、大炮和机械化部队的介入下，迅速平息了这次暴乱。
前苏联党对于其他社会主义国家的执政党总是盛气凌人、颐指气使，根本不是以兄弟党看待。前苏联党总是以老子党自居，别人的行动必须受前苏联党指挥，这严重恶化了前苏联和其他社会主义兄弟国家的关系。
铁托领导的南斯拉夫就是不愿听前苏联的指挥，毅然选择了自己的发展道路。在中国时，同毛泽东就关于建立联合舰队和长波电台问题的争论就突出反映了赫鲁晓夫和前苏联党妄图加强控制中国，同时也反映出中国共产党坚持党际平等、互不干涉内敢的外交思想。
1959年，在访问完美国后，赫鲁晓夫乘着他在美国与艾森豪威尔总统就一些问题达成一致意见的东风来到中国，向毛泽东主席鼓吹他的所谓“戴维营精神”，并提出建立长波电台的问题。由于赫鲁晓夫对艾森豪威尔的政治品质大加赞扬，毛泽东十分生气。他们盼谈论并未取得任何有效成果。
赫鲁晓夫向毛泽东提出，前苏联出钱在中国建立一个长波电台。前苏联不关心这个电台的主权归属问题，只是想用它同前苏联的潜水艇保持无线电联络，前苏联甚至愿意把这个电台送给中国，并表示希望长波电台能尽快建立起来。同时赫鲁晓夫还提出，前苏联能不能在中国有个潜水艇基地，以便解决在太平洋活动的舰队加油、修理和短暂停泊等问题。毛泽东断然拒绝了这个要求。毛泽东的这种态度是可以理解的，饱受帝国主义欺凌的中国人民对自己经过浴血奋战收回的主权问题相当敏感，不容许别的国家对它有丝毫的非分之想，即使是社会主义兄弟也不行。
遭毛泽东断然拒绝的赫鲁饶夫恼羞成怒，他不理智地下令撤退在中国的所有前苏联专家，这给中国造成了极大损失，并促使两国关系严重恶化。中苏两国先是因观点不同而引发争论，继而上升到意识形态向题，并最终导致两国发生武装冲突。
在苏美严重对峙的冷战时期，两国为了能在竞争中获胜，纷纷加大力度研制大规模杀伤性武器，你追我赶，互不相让。美国为了能对前苏联酌军备情况有个了解，以使有针对性地发展自己的武器，派出了高空侦察机U-2飞机对前苏联进行高空侦察，并且偾察活动非常频繁。前苏联人虽能探测到其U-2飞机，但由于当时前苏联的战斗机升空高度不够，无法对U-2飞机构成威胁，于是只能眼睁睁地看着它自由出入。
但前苏联人并没有任美国飞机这样自由出入得太久，经过一番努力，他们有了对付美国U-2飞机的办法。1960年5月1日凌晨，一阵急促的电话铃声将赫鲁晓夫从梦中惊醒，国防部长马林诺夫斯基向他报告说，一架不明国籍的飞机侵入前苏联领空。赫鲁晓夫听后，心想一定又是美国飞机，别的国家是不会侵略前苏联领空的。赫鲁晓夫下令不要让这架飞机跑了，一定要把它打下来。前苏联防空部队果断出击，一举击落了这架U-2飞机，并活捉其飞行员加里·鲍尔斯。
在冷战期间，美苏两国虽没有爆发热战，但两国间冲突不断，有时甚至剑拔弩张，一触即发。1961年的第二次柏林危机是一个很好的例子。
1961年8月3日，前苏联政府照会美、英、法三国政府，并发出最后通牒，要求三国必须在年底以前就有关与德国缔结和约以及根据这一和约对西柏林的现状作出规定的问题予以解决。8月7日，赫鲁晓夫又在电视讲话中，针对西方国家所宣布的进入西柏林不受民主德国约束，无需征求许可便能来往于该城市的西区问题发出警告，前苏联将大大增加自己驻扎在西部边界军队的数量，并且将征召预备役官兵以保证部队满员。
赫鲁晓夫的这些电视讲话，使本已气氛紧张的西柏林局势更加紧张。北约部队处于紧急戒备状态，以应付突发事件。8月12日，德意志民主共和国也加强了对本国边境控制，关闭西德之间的边境，对于那些被允许出入双方边境的人们颁发一种特别通行证，同时还修筑起了有名的柏林墙。这引起西方国家的强烈抗议。北约部队向东推进，华约军队向西前进，双方在柏林墙的两侧枪炮相对，战争一触即发。但关键时刻，西方国家退让了。他们对东德的做法予以承认，还默认了柏林墙的存在。赫鲁晓夫也有所克制，收回了在年底前同民主德国签订和约的意见。
第二次柏林危机以双方共同让步而和平解决了，但双方剑拔弩张、一触即发的场景永远地留在了历史的记录中。这只是双方进行的众多较量中的一次。
1959年，在卡斯特罗的领导下，古巴革命取得了胜利，走上了社会主义道路。美国对这个美洲唯一的社会主义国家采取敌视态度，不但自己出兵干涉，而且在美国培植古巴反政府武装，并对古巴实施经济制裁。为了寻求支持，1962年7月初，由菲德尔·卡斯特罗的弟弟劳尔·卡斯特罗率领的古巴军事代表团来到莫斯科。他们同前苏联军方领导人举行了长达一个多星期的会谈。讨论的主要问题是前苏联向古巴提供军事援助和派遣一定数量的军事专家。前苏联当即决定，将提供给古巴带有核弹头的中程导弹以及能够运载原子弹的轰炸机。很快，准备运往古巴的必要设备开始迅速装配，同时装满军火的前苏联船只也陆续驶离前苏联，前往古巴。到9月份，前苏联导弹已经运抵古巴，发射台正在加紧建设，运到古巴去的伊尔—28轰炸机部件也正紧锣密鼓地组装。
前苏联的这一大胆举动被美国U-2飞机侦察到。美国迅速召见了前苏联驻美国大使多勃雷宁。同时，美军相应地调整军事部署，派遣一支由180艘美军战舰组成的特遣舰队在加勒比海集结待命，命B-52轰炸机轮换不停地在空中巡逻，同时调6个步兵师到佛罗里达，并处于一级战备状态。美军还对来往船只进行检查，严密封锁了古巴。赫鲁晓夫得悉后，自然不甘示弱，他命令部队进入战备状态，还对美国的军事行动提出抗议，并命开往古巴的船队继续前进。双方再次发生了军事对峙。
苏美双方也不愿打仗，一开战，只能是两败俱伤，因此双方都非常克制。在经过一番勇气和耐力的较量后，赫鲁晓夫率先表态，如果肯尼迪解除对古巴的封锁，不再威胁它，前苏联就把部署在那里的导弹撤走或销毁。紧接着又提出以美国撤出在土耳其部署的导弹为交换条件，同美国讨价还价。美国总统肯尼迪向赫鲁晓夫保证，部署在土耳其的导弹也将被撤走，但是前苏联必须拆除部署在古巴的一切进攻性武器。赫鲁晓夫接受了肯尼迪的建议，这样，古巴导弹危机结束了。二战之后的世界，如此地接近战争的边缘还是第一次，美、苏达成一致时距美国陆、海、空三军对古巴发动进攻的预定时间仅有24小时。
赫鲁晓夫的粗鲁、我行我素和做事不计后果导致前苏联在外交上极其被动。这给他的政敌捉供了借扫，他们趁机发起反对活动。
1964年10月12日，党中央委员会主席团在克里姆林宫举行会议，主要任务是撤销赫鲁晓夫的一切职务。会上，赫鲁晓夫在15个方面受到指责，虽然他坚决不接受对自己的指责，但没有人再支持他。会议最终解除了赫鲁晓夫的一切职务，并选出了党中央第一书记勃列日涅夫和部长会议主席柯西金。赫鲁晓夫就这样黯然下台。西方观察家认为，此时是赫鲁晓夫体面下台的最佳时刻。
