这些迁居浙江的畲族先民，或靠租种当地地主的土地山场，或迁至人迹罕至的深山，开山筑田，耕山种地为业。在之后长期的生产生活中，不可避免的与当地汉人发生密切交往，不仅在经济文化方面有着频繁的交流，族群上的互动、融合也相当深入，畲、汉居民之间互认“契子”、互拜“谊父”的现象也相当普遍。据《松阳县志》载，畲民“惟乐为土人认谊父，俗谓称爹。土人亦以其子女善达，冀其庇荫，故多认之。相认之始，则祭其祖，先赐以保名，赠以花带，而为之螟蛉者，亦果得善达焉。虽世家大族，亦往往有之，习以为常，直呼之曰亲爹、亲娘，不足为怪也”。不仅如此，当地不少汉人在与畲民的交往中，还逐渐接受了畲族的文化、风俗，融于畲族之中。如畲族传统上只有盘、蓝、雷、钟四姓居民，但现居闽东、浙南的畲族中却有李、吴、杨诸姓。这些非畲族传统姓氏的畲民，便是数百年来通过婚姻或谊养关系，主动接受畲族文化，在文化心理和生活习俗方面认同畲族的畲族化汉人。
促使畲族与汉人客家、福佬和江浙民系交往、融合的因素不外乎几点：一是政治因素。历代统治者为了加强对畲区的控制，都在畲族聚居区设置郡县时，强行迁入大量的汉民。如汀州设置时，就曾从其他地区迁入汉民“三千余户”，杨澜记述说：“唐时初置汀州，徙内地民居之，而本土之苗仍杂处其间，今汀人呼之曰畲客”。陈政、陈元光父子开拓漳州时，大量内地汉人也“负耒耜望九龙江而来”，并在此定居开发。这一带原为“苗人（畲族）散处之乡”，由此逐渐变为“民僚杂处”之地。这在客观上推动了畲、汉民族的交融。二是经济因素。从内地迁入的汉人带来了比较先进的农耕技术和手工业（如冶金和金属工具的加工）技术，这些技术对畲民无疑是有吸引力的，在杂处的环境下推动着畲民向汉人接近，并最终提高自己的生产力水平。三是军事因素。自唐代以后，畲族曾前仆后继地开展过无数次反抗压迫的斗争，几乎每一次斗争，都有大量汉族劳动人民参与其中。畲、汉人民在共同的反压迫斗争中，以鲜血铸就了牢不可破的关系。四是文化与环境因素。畲族长期居住在山区，对山区环境有着良好的适应能力，并由此形成了独特的畲族文化，这对当地的汉民也产生了相当的影响。文化、经济上的各有所长，必然使杂处的畲、汉人民互有借鉴，并日渐走向交融。
然而，畲族与各地汉人的交往也并非是一帆风顺的，也曾有过许多误会和摩擦，这种误会和摩擦往往起因于文化的差异，而汉族的大汉族主义、文化优越感则是造成误会和摩擦的主要原因。如畲族妇女向来没有缠足的习惯，一双天然的大脚方便下地干活，却常被汉人讥笑为“大脚畲客婆”；又如畲族妇女服饰色彩比较艳丽，与汉族妇女服饰大异其趣，被汉人视为异类，在一些汉族地方，“畲婆”甚至被看成是“妖冶女人”的代名词。因此，畲民与汉人之间在日常生活中也常常出现摩擦和冲突，甚至出现最终不得不寻求官府出面调停的局面。但总体来说，畲汉人民的友好交往是主流。
四、畲族与瑶族、苗族的交往
畲族与瑶族的交往是一个比较复杂的问题。这两个民族不仅有相同的反映原始图腾崇拜的盘瓠传说，而且有许多相同的习俗，所以史籍上往往是畲、瑶并称，甚至说畲族就是瑶族。直到明清时期，畲、瑶还是混用，各地方志中称畲族为“瑶人”的现象仍随处可见。如明代林大春修的隆庆版《潮阳县志》中载：“邑之西北山（凤凰）中有曰輋户者，男女皆椎髻箕倨，跣足而行，依山而处，出常挟弩矢，以射猎为生。矢涂毒药，中猛兽无不立毙者。旧常设官以治之，名曰輋官。或调其弩手以击贼，亦至。然其俗易迁徙，畏疾病，刀耕火种，不供赋也。”这些輋（畲）民在清代顾炎武的笔下就变成了瑶族，他在《天下郡国利病书》中说“潮州有山，其种二：曰平鬃，曰崎鬃。其姓有三，曰盘，曰篮，曰雷，皆瑶族，号白衣山子，依山而居，采猎而食，不冠不履。三姓自为婚姻，病殁则并焚其室庐而徙居焉。籍隶县官，岁纳皮张而已。其曰：斗老，与盘、蓝、雷三大姓者，颇桀骜难驯”。这一说法之后被光绪版的《海阳县志·杂录》原文引用。不仅顾炎武将畲族误认为瑶族，清初范绍质的《猺民纪略》记述说：“汀东南百余里，有猺民焉，……乡人乎其名曰‘畲客’。”乾隆版《龙岩州志》更直接说：“畲客即瑶人，岩属俱呼为畲客。”清道光九年（1829年）的《罗源县志》也说：“畲民祖于盘瓠之后，即瑶人也。”
实际上，不仅许多汉人史籍将“畲民”与“瑶人”“傜人”混淆，在畲族族谱记载亦有不少自称为“瑶户”“傜人子孙”的情况。如1929年德国学者史图博和他的助手李化民在浙江敕木山调查时，就发现敕木山蓝姓畲民的族谱记载：“原宗高祖盘蓝雷钟傜人迁会稽山内，迁出广东潮州府海洋县九都七贤洞内，移去十三都八排山下居住，凡十世余年到后唐。”这里用的是“傜人”，而不是汉族文人惯用的带有歧视性的“猺人”字眼。据史图博的叙述，那本族谱是他去调查前不久才写下来的，可见直到民国时期，畲民中仍有“傜人”的自称，但一般也只用在书面语中，口语中则自称“山哈”“畲民”。
在书面语中以“傜人”自称的现象在畲族中看来还不少见。在闽东霞浦县的半月里畲村，一座清代古民居的厅堂的楹联就写道：“傜咏帝力免差徭，鹏程欲溯凤山踪”，就是一个以“傜人”自称的例证。而1952年在闽东福安县林岭乡畲村的调查中也发现，当地族谱中也有“自立傜户”的记载。
上述的种种记载，使得学术界曾经一度盛行畲、瑶同源的观点。然而，近年来这个观点越来越受到质疑。支撑这一观点的最主要证据是畲、瑶共同的盘瓠信仰，而畲族学者雷阵鸣等人将两个民族关于盘瓠信仰的故事来源、传说地域、崇拜形式和文人看法等加以比较研究后认为，畲族和瑶族的盘瓠信仰有着根本的区别，两者不可能同源于武陵蛮。从族群记忆中的民族来源来看，除了广东罗浮山一带的畲族自称从湖南迁来，确实与瑶族关系密切外，其他闽、粤、赣各地的畲族，均将祖先追溯到以广东潮州凤凰山为中心的闽、粤、赣交界区域。而从史籍的记载来看，瑶族先民并没有到过这一带活动的迹象。这些畲族人与瑶族人从语言到文化风俗上，也存在着较为明显的差异。
畲族与瑶族的密切交往，主要体现在广东莲花山区和罗浮山区一带的畲族群体身上。他们不仅与广东瑶族的来源相同（都从湖南迁徙而来），而且他们所讲的语言也是瑶语支的布努语炯奈话，在社会风俗、民间传说、文化生活等方面，也与广东的瑶族十分接近。最重要的是，这部分畲族历来都认为他们是“瑶”不是“畲”，“据群众讲，他们从祖公一直传下来都说自己是‘瑶’，讲的是‘瑶’话，族谱载的是‘瑶人’。历代受瑶官统治，只向瑶官纳税，瑶官的印上还写着‘增龙从博抚瑶印’字样，解放前被汉人称为‘山瑶佬’‘山瑶仔’‘瑶佬’，他们用汉语时亦自称‘瑶人’，所以他们认为历代相传是‘瑶’不是‘畲’”。可见这一部分畲族人与瑶族关系之密切。
畲族与苗族的交往则主要体现在1996年认定的4万多贵州畲族群体上。据贵州民族事务部门组织的调查，根据这部分畲族各姓氏的族谱和碑文记载以及民族成分认定前的考证，他们的先祖入黔前居住在江西赣江流域及赣东、赣东北一带，元末和明洪武年间，或奉旨征讨、迁徙，或避祸而迁入贵州。因其来自贵州东部，当地汉人还将他们称为“东家”。在长期的历史进程中，“东家”人与当地的汉族、苗族、侗族等兄弟民族交往比较密切，特别是与苗族关系更为紧密，其目前所讲的语言将专家研究认为就属于汉藏语系苗瑶语族苗语支的惠水次方言，与当地苗族的语言没有太明显的区别。
从莲花山区、罗浮山区和贵州一带畲族的情况来看，畲族与苗、瑶两族的关系的确非常密切。仅从这部分畲族来看，得出苗、瑶、畲族同源的观点显然是有根据的。然而有意思的是，这两个分别与苗族、瑶族关系密切的畲族群体，却似乎与粤、闽、浙、赣、皖的畲族主体部分有着令人想象不到的差异：从语言来看，除莲花山区、罗浮山区一带的畲族讲的是瑶语（一般也称作“惠东畲语”），贵州一带畲族讲的是苗语外，其他畲族讲的都是与汉语客家方言相似的福安畲语；从文化来看，操苗瑶语的畲族与操福安畲话的畲族也存在比较大的差异，如瑶语炯奈话系的畲族传说中盘瓠有六男六女，不同于福安畲话系畲族的三男一女传说，而与瑶族的祖先传说相同；从民族姓氏来看，传统上畲族主要都是盘、蓝、雷、钟四大姓，这在民族传说中一再被强化，此外还有部分李姓、吴姓等，而贵州畲族却有着十几个姓氏；从民族认同来看，瑶语炯奈话系畲族心理认同的却是瑶族而不是畲族，贵州畲族因与畲族主体差异较大，民族身份也遭到质疑。由此看来，畲族与苗族、瑶族的关系确实有待进一步研究。
第三节 文化互动
在长期的社会生产生活交往中，畲族与客家、福佬等汉族民系和瑶族、苗族等少数民族产生了广泛、频繁而深入的互动，使得这些民系、民族的文化呈现出一种“我中有你、你中有我”的交融局面。这种文化互动和交融现象，也正鲜明地展示了历史上畲族与这些民系、民族之间友好交往、互相学习的真实状况。
一、语言文字上的互动
畲族有着自己的语言，没有自己的民族文字。但聪明的畲族人民利用散居于汉族之间的便利条件，逐渐学会了汉字的应用，并在应用中有所创新。比如，畲族民间知识分子在进行歌本抄录时，就利用汉字的音、形、部首等，创造了畲族民间使用的土俗字。有些字是利用近音汉字进行注音，字形上是完整的汉字，但字义上却与这个汉字的原意有很大的差别，如“分”字，在汉语中其原意与“合”对应，但在畲族民间“分”的读音近似于“崩”或“兵”，虽然也用以表达“合”的反义，如分家、分东西，但在畲歌抄本中却常用来注畲语“给”的对音；有些字则是利用汉字的偏旁部首新创的，如“（左）目（右）太”就是利用汉字的偏旁部首创造的形声字，意为“看”；有些字虽是汉字字形，但与汉字的原音、原意毫不相干，而是根据字形作了自己的理解，如“娚”字汉语读作“nán”，而畲族民间这个字的读音却近于“liào”，意为“玩耍”“闲聊”。此外，还有其他类型的土俗字，如“乇”（意为“物质”“东西”）、“伓”（意为“不肯”“不会”或“不愿意”）、“丅”（意为“站”或“陡峭”）、“（上）奴（下）共”（相当于“和”“与”“对”）等等。汉字的借入与应用，使大量传统的歌言得以记录和保存下来，也大大增强了畲族文化的表达能力。
在语言上，畲族与客家的互动最为典型。目前超过畲族总人口95%的畲族主体所讲的就是与客家方言极为接近、被称做“福安畲语”的语言，而散居于闽西客家地区的畲族语言更是与当地客家人无异。福安畲语的形成，是畲族与客家长期杂居相处、文化上互动交融的结果。早在隋唐以来，畲族与客家先民就在闽、粤、赣交界广大山区的共同地域内一起生产生活，他们之间有过不少矛盾，但和平相处和团结协作是主流，畲族与客家先民甚至多次进行共同的反压迫斗争。直到清代，畲族与客家联合抗暴的历史事件仍屡见不鲜。可见畲族与客家的接触和互动是十分频繁的。正如罗香林所说：“接触已多，就想不与他们混化，亦就势所不许。”显然，这种“混化”很典型地在语言上得到了体现。
