3月4日，团琢磨又率领财界的一众骨干在日本工业俱乐部举行茶话会，接待李顿调查团成员一行。茶话会全程中，团琢磨异常活跃，他利用自己精通英语的优势，不断向外国客人阐述日本政府的立场，反复说明因中国问题而与美英等国家交恶并非日本政府的本意，同时对日本被国际社会孤立感到深深的忧虑。
当晚，团琢磨还主持了招待晚宴。晚宴过后，已经75岁的团琢磨不顾身体疲惫，坚持陪客人赴东京剧场观看演出。为了最大程度地争取李顿调查团的好感，团琢磨费心考虑到了每一个细节。他没有选择歌舞伎、能乐这些带有浓郁日本风格的演出，而是投其所好，选择了当时风靡西方的歌剧《特洛伊人》。观剧的时候，团琢磨特地坐在李顿爵士和麦考伊将军的中间，见缝插针地向这两位调查团的核心成员解释日本在满洲的行为。
整整一天，团琢磨都在说，都在为日本争取最大程度的外交主动。他不知道，军部对他所付出的这一切努力毫不感激，相反还觉得他碍手碍脚。就在团琢磨费尽口舌的同时，一个狂热的军国主义年轻人正在千叶县的船桥海岸练习射击。他的目标正是此刻说着英语，与一群西方人侃侃而谈的团琢磨。3月5日这一天，团琢磨起得稍晚，但还是要去三井总部大厦去办公，把前一天跟调查团成员交流的情况向总领家三井高栋汇报。临出门之前，团琢磨忽然想起在茶话会上偶然得知，李顿秘书的儿子跟自己的儿子团伊能认识，而且关系很不错。他嘱咐儿子：“赶紧找个机会去会会李顿爵士的秘书，不能放过任何一个能为日本说上话的机会。”说完这些，他就匆匆钻进了停在家门口等候着的轿车。
一切看起来跟往常并没有什么不同。
总部门前的枪声
3月5日上午11点25分，团琢磨的车子停在了三井总部大楼东侧的石阶前。
这座位于日本桥区骏河町的新总部大楼1929年建成，是一座欧式风格的四方形建筑，地上7层，地下2层，抗震级别能达到关东大地震的2倍。原先的三井大楼在关东大地震中毁于火灾后，三井合名会社曾一度希望在原址上修复大楼，但是理事长团琢磨坚持要新建一座大楼，作为日本震后复兴的一面旗帜。这才有了这座当时堪称全日本最坚固的欧洲古典主义风格的建筑——三井本馆。
造楼的时候，一个厚度达90公分、重约50吨的铜铁门曾引起舆论哗然。人们好奇，这样一个大家伙是干什么用的？因担心会压坏日本桥，最后这个大门是通过水路才运到了工地。后来人们得知，这就是藏在大楼地下2层的三井银行金库的大门。三井财阀究竟富到什么程度，一时间成了街头巷尾热议的谈资。
这栋大楼在二战中日本遭到美军轰炸时，曾一度被当做防空设施来使用，并且在东京差不多被炸成平地的情况下，基本保持完好无损，足见其坚固的程度。直到今天，这栋大楼依旧是三井住友银行日本桥分行的营业处，是东京现存为数不多的战前代表建筑物。
没有团琢磨的执意坚持，就不会有这座被世人津津乐道的三井总部大楼。1932年3月5日这一天，这栋大楼再次成为了新闻关注的焦点。
团琢磨下车的地方是大楼的东侧，这里是三井银行的南入口。因为旁边紧挨着三越百货，所以三井银行这个入口附近总是人流较多。谁也没有注意到这天一大早，就有个20岁刚出头的年轻人来到了这里。他圆脸，板寸头，微胖，衣衫破旧，一看便知，这又是一个从农村跑到城市里来讨生活的人。东京街头这样的人很多，没有人会朝他多看上一眼。
门口的仆人认出了团琢磨的车子，忙奔上前打开车门。留着花白小平头，身形有些瘦削的团琢磨从车上下来，跟往常一样，缓缓迈上石阶。
就在这时，一个年轻人挡住了他的去路。这人圆脸，板寸头，微胖，衣衫破旧。
还没等众人缓过神来，只听得“砰——”的一声，一颗子弹从这个年轻人手中的勃朗宁自动小手枪中射出，近距离击穿了团琢磨的右胸部。团琢磨只是大喊了一声：“动手了啊！”便一头栽倒在血泊中。
团琢磨的保镖是一名陆军后备役军人，根本来不及做出任何反应，错愕间眼睁睁看着主人应声倒下，然后才猛然想起要抓住凶手。凶手开枪后根本没有逃，而且对抓捕没有做丝毫抵抗，要知道此时勃朗宁手枪里还有子弹。他就在现场看着团琢磨倒下，然后等着束手就擒。
浑身是血的团琢磨被立即送到位于三井本馆五楼的医务室急救。三井高栋原本还在等着团琢磨来汇报跟李顿调查团会谈的情况，不料等来的却是自己最信任的人被刺杀的消息。他亲自督阵抢救，无奈团琢磨的心脏大动脉被打穿，不到半个小时，这位被授予男爵勋号的三井大掌柜就咽了气。
团琢磨是这一年被暗杀的第二个有身份的人。就在不到一个月之前，主管财政事务的大藏大臣井上准之助也死于相同的暗杀手法。
恐怖的气氛在蔓延。下一个被暗杀的人又会是谁？
藏在幕后的凶手
团琢磨的死，意味着日本失去了一个能向西方喊话的发言人，这似乎成了日本全面倒向军国主义的一个预告。
正在日本访问的李顿调查团对这起暗杀事件非常关注，国际媒体也纷纷报道。因为引起了国际社会的关注，警视厅在破案方面不敢懈怠，迅速查明了凶手的来历，以及他背后的唆使势力。
射杀团琢磨的这个年轻人名叫菱沼五郎，22岁，是右翼恐怖组织血盟团的成员。
20世纪20年代，日本法西斯思潮开始出现，并随之诞生了不少法西斯组织。其中，由北一辉等人于1919年成立的“犹存社”，是日本最早的法西斯团体。北一辉撰写的《日本改造法案大纲》，被奉为“日本法西斯圣典”。他的基本主张是，日本应废除宪法，解散国会，以天皇和军人作为改造国家的领导者，实行军事独裁，同时他还反对资本主义，主张私有财产超过100万日元，就必须全部归国家所有。
北一辉的“日本改造理论”得到了一批狂热的军国主义分子，以及军部少壮派军官的极度推崇。到了20世纪30年代，日本国内的法西斯团体已经达到100多个，其中还有不少极端的暴力恐怖组织，血盟团就是其中的一个。血盟团组织的成员都是清一色的军国主义极端狂热分子，大部分人来自农村，还有一部分青年大学生。在他们眼里，当权的政府、掌握国家财富的财阀和特权阶级腐败堕落，缺乏国家观念，他们相互勾结谋取私利，阻断了天皇和臣民的联系，误国误民。这些激进分子歃血为盟，发誓要杀尽所有卖国贼。任何反对军事扩张、主张和平的高官要员都是他们计划暗杀的对象。
血盟团制定了一个叫做“一人一枪”的暗杀行动计划，每个人负责杀掉一到两个头面人物。三井财阀因为在“囤积美元事件”中背上了为贪图私利不惜卖国的负面名声，因此成了血盟团成员暗杀的重点对象。除了团琢磨外，三井银行的池田成彬也在名单之列。
所幸在大藏大臣井上准之助和三井的团琢磨被暗杀掉之后，血盟团“一人一杀”的计划也败露了。警察搜出了他们的暗杀名单，全部14名成员悉数遭到逮捕，并被判处三年到无期不等的徒刑。
案情似乎非常明朗，团琢磨看起来会是这场恐怖行动的最后一个受害者。但事情绝非如此简单。
真正想置团琢磨于死地的，是隐藏在血盟团背后的一股更大的激进势力，那就是军部的少壮派军官。
1932年5月15日，一群身着制服的少壮派海军军官、陆军士官学校的学生和民间右翼主义者分数路冲进了首相官邸、警视厅、日本银行、电站等重要场所，射杀了首相犬养毅。
犬养毅是三井财阀支持的立宪政友会的总裁，作为“九一八事变”后上台的文职内阁，犬养毅不主张在中国东北的武力冒进主义，而是希望用东北形式上的主权同中国换取东北经济利益的实际支配权。这种渐进主义让狂热的法西斯分子十分不耐烦，他们认为要实现日本的“快速改造”，就必须把犬养毅、团琢磨这些当权派势力统统铲除。
血盟团的暗杀行动，只是军部实施“日本改造计划”的第一步，第二步就是由海军少壮派发起的这场“五一五政变”。团琢磨死后，虽然血盟团被一网打尽，但是行动的第二步计划却没有暴露，首相犬养毅很快成了这一年第三个被杀死的头面人物。
随着犬养毅的死去，这一届内阁很快瓦解，代之以海军大将斋藤实为首的、由军部指导的“举国一致内阁”。日本在明治维新后发展起来的政党政治，至此暂告终结。一心想要对外扩张的军部势力逐步夺权，日本最终走上了全面对外侵略的道路。
对三井财阀来说，1932年是最为黑暗的一年。团琢磨和犬养毅两个人的死，让三井财阀既失去了事业上的主心骨，又失去了在政界的靠山。团琢磨所坚持的温和扩张理想被法西斯军人的武力扩张野心彻底摧毁，三井财阀将被迫面临一次彻底的转型。心灰意冷的第十代总领家三井高栋，很快将“八郎右卫门”的家族帅印传给了38岁的三井高公，66岁的三井银行常务总裁池田成彬也随即当上了三井财阀的大掌柜。这一老一少的当家组合面临的第一个大问题就是，要不要跟当权的军部势力合作？
答案是肯定的。与权力合作，本就是三井的基本生存法则。自德川幕府时代以来，这一生存法则从未动摇过。所以，无论过程如何，在日本整个国家法西斯化的大势下，三井财阀终究还是走上了与军国主义势力合作的道路。
