登陆注册
60097700000040

第40章 搜索引擎算法

临近下午一点,孟谦到了沪上浦东,这还是他重生后第一次来沪上,这个前世他也经常来的地方。

沪上作为华夏的金融中心,是一张给世界看的名片。

不过曾经的孟谦第一次来沪上是在07年的时候,2000年的沪上他还真没见过。

此时的浦东,已经开始耸立起高楼大厦,同时又存在大片的厂房和棚户区,车子一路开过去,可以看到很多地方正在拆迁改造。

“张总准备把分公司放在浦东么?”到了目的地后,孟谦凭借记忆对比,如果没看错的话这里应该是张江高科技园区。

浦东四大重点开发区域中,世人相对熟知的应该就是金融中心陆家嘴和科技中心张江了。

2000年的张江,领军产业是电路、软件以及生物医药。

张树新点头表示肯定,“现在南方最有发展潜力的地方,毫无疑问就是深圳和沪上浦东,而张江高科技园区,则是科技的孵化宝地啊。”

这个时候大家说到南方城市的发展潜力,尤其是科技发展,还没人会想到杭城。

来到张树新租的地方,有五名男子正等在那边,其中有两人一看就是外籍男子。

张树新一一做了介绍,这两名外籍男子一名来自IBM,一名来自谷歌,听意思要么是已经挖过来了,要么就是打算挖过来的,两人之前都是搜索引擎项目组的。

另外三名华夏人,一人是瀛海威自家的技术总监,另外两人都是从硅谷回来的,一个毕业于斯坦福大学,曾任职于英特尔,一人毕业于哈佛,曾任职于甲骨文,都是人才。

简单的打了个招呼,大家就到会议室坐着,接下去是孟谦的表演时间,他今天,要展示他的搜索引擎核心技术。

搜索引擎这个东西,需要用到网络爬虫技术、检索排序技术、网页处理技术、大数据处理技术、自然语言处理技术等,当然,2000年这个时候,还用不上自然语言处理技术,大数据处理也更后世的概念不太一样。

但说的简单一点,其实核心就是一个东西,算法。

因为每一个技术都离不开算法。

“我不太清楚在座各位在搜索引擎方面的建树和理解,我只能先按照我的节奏说下去,如果谁有问题可以随时打断我。”孟谦走到黑板前直入正题。

“在我展示我的核心技术之前,我们先来看看当下的三大主流算法,白度的超链分析,谷歌的PageRank算法以及IBM的HITS算法。

几乎所有人都觉得白度的超链分析是三个算法中最落后的,但有些事情我们还是要多角度的看一看,白度的超链分析在某种程度上可以算得上是奠定了搜索引擎的发展基础。

有一些声音说谷歌其实是剽窃了白度的超链算法,毕竟李彦宏这个专利确实在谷歌之前,我们现在不去猜测真假,但这种说法体现了一个很重要的信号,其实不管是哪一家的算法,算法基础其实都是一样的。

抓取网页信息,然后用某种机制对这些网页进行排序,当用户输入关键词进行搜索时,根据关键词匹配出按照机制进行排列的网页。

那么白度输在哪呢?关键就在于白度现在过于简单的基于在某次搜索的所有结果中被其他网页用超链接指向的越多的网页就价值越高这种基础排序方式。

相比之下,谷歌的pagerank就多了两件很重要的事情,第一件事情是,把A页面到B页面的链接解释为A给B的投票行为,谷歌在这里会同时考评A和B的等级从而形成新的等级。

也就是每一个页面都有PR值,同时你的PR值会成为其他页面PR值的参考。

然后不断的重复计算每个页面的PR。假设给每个页面一个随机PR值,那么经过不断的重复计算,这些页面的PR值会趋向于稳定,也就是收敛的状态。

至于HITS,其理论基础依然没变,它最大的特点或者说改变就在它意识到pagerank算法平均的分布权值不符合链接的实际情况。

所以HITS算法中引入了另外一种网页,称为Hub网页,Hub网页是提供指向权威网页链接集合的WEB网页。

所以使用HITS的搜索结果会比其他两者都更权威,但这个算法会大大增加计算负担,对吧?”

孟谦看了一眼IBM出来的哥们,对方愣了一下有点好像不确定的点了点头。

所以现在简单总结一下,搜索引擎的算法基础就是超链分析,算法的优劣势就在于如何让搜索结果更具有参考价值,让用户获得更有效的信息。

当然如果能直接理解用户的需求然后帮他搜索他最想要的内容,这是最理想的搜索引擎状态,但谁都知道这是不可能的。

因此搜索引擎的好坏决定的就是同样的关键词下,你是否能让相对更多的人获得他们想要的内容。

10个用户用谷歌,5个人找到了自己想要的东西,如果用我们的搜索引擎,6个人找到了自己想要的东西,在这里领域目前的技术环境下,我们就是更优秀的。

那么在这个理解基础上,我接下来要给大家介绍的,就是我的搜索引擎算法,动态规则超链分析算法。

动态规则超链分析算法有以下几个变化。

第一,刚才我们提到了,好的搜索引擎是要看在同一关键词下谁的反馈结果更能满足用户需求,那么当用户在搜索某个东西的时候,从大概率来说,他想要看到的结果应该是与这个东西具有更垂直型相关的内容。

举个例子,客户在搜索汽车的时候,不管他是想买车,还是想了解汽车知识,汽车类的专业网页对他的帮助应该都是更大的。

所以在我的算法中,对于指向某一个网站的链接,我首先会做垂直率评分,比如有现在有10个网站链接到了A,这10个网站都是汽车类网站和这10个网站都不是汽车类网站的结果,想必是肯定不一样的。

这里还有一个小小的心理问题,那就是同行之间很少会做超链接,所以拥有更多垂直类网站链接的网站,它的专业性肯定比被乱七八糟网站链接的网站要更大概率靠谱。

第二,建立关键词库热度排序机制,现在的几家搜索引擎企业都对网页做了排序,而我对关键词也做了排序,而且给关键词做排序非常简单,那就是看用户的搜索量。

就比如今天搜索汽车的用户最多,那么汽车的评分可能就是10分,这个时候,算法会分配更多的资源到汽车相关的信息上去,去抓取更多的优质网页。

这里有四个好处,提升信息反馈速度、增加热点反馈的时效性、节约计算机资源以及围绕最终目的,让更多使用我们搜索引擎的用户得到有用信息。

第三,用户反馈机制,也就是跟踪用户的点击情况和浏览情况。

还是用汽车举例,有100个用户搜索汽车后,80个点击了A网页,A网页的评级就会上升,如果有更多的用户在A网页的停留时间较长,A网页的评级也会上升,如果有更多的用户在A网页上直接进行链接等操作,A网页的评级也会上升。

也就是说,在整个网页评级系统中,加入用户反馈分。

第四,规律算法,在用户的所有行为中寻找大概率行为,并将这些大概率反馈到人工,比如说60%搜索了汽车的用户下一个搜索词都是保险。

这样的一些规律我们是无法预测的,但我们可以利用算法进行大数据挖掘,回馈的这些结果可以供人工分析部对一定的网页进行评分,这个就是人工分。

结合以上四点,在我的算法下,任何一个网页同样会有一个分数,我称其为精度分。

影响精度分的因子包括自己评分,链接的垂直网站评分,用户反馈分,人工制定分以及外链影响等。”

之后,孟谦浅尝辄止的展示了各个分支的算法逻辑和算法推演公式。

然而就在孟谦在说最后一个规律算法的过程中,来自IBM的杰尔夫突然起身惊呼,“OH MY GAD!Artificial Intelligence?!”

孟谦转过头看了一眼对方,皱了皱眉。

杰尔夫顿了顿,以为孟谦是没听懂,用奇怪的发音道,“卧槽!!!”

...

而随着杰尔夫的打断,原本都沉浸在孟谦分享中的其他四名技术人员,眼神也都出现了明显的变化...

同类推荐
  • 从前有个互联网

    从前有个互联网

    这一年,摩托罗拉正躲在墙角舔伤口,索尼的游戏机还在难产,任天堂跟世嘉打的火热,康柏苹果和蓝色巨人战成一锅粥,丝毫没有觉察到阴影下饿狼微软的血盆大口。而苏阳却出生在了华国一个连电脑都是稀罕物的小城…
  • 校花的高手同桌

    校花的高手同桌

    推荐新书《从一千零一世开始全能无敌》连载中。。。。。。。。。。。。。。。。。。与好友相约就读同一所学校,成为校花的同桌……有个爱占用晚自习给自己复习的漂亮姐姐?有个老找人对付自己却又无能为力的情敌?有个暴力无脑却又打不过自己的傻妞警察?有个调皮捣蛋爱整盅别人的富家千金小姐?有个成绩颇好而又知情达理的高年级学姐?……本应该低调而平凡的高中生活,却因为这一系列的麻烦事情缠绕,让林云的高中生活不得不开始高调
  • 名流狂少

    名流狂少

    与世隔绝的小山村,努力搬砖却天降死劫。是好人没有好报?或许吧!拭目看山村屌丝如何逆袭成为一代名流狂少!
  • 冰封之武林神话逍遥都市

    冰封之武林神话逍遥都市

    一位武林神话人物天下无敌为了创造更好的神话,归隐在山洞修炼,修炼到寒冰意境时,发出万年玄冰把整个山洞和自己冰封了,经过无数年的岁月的和战争的硝烟,山洞已经是沦陷在地下,而上面是茂密的原始森林,这时一位极品美女穿着白色的休闲裤和蓝色紧身Tx,意外掉进了冰洞里,并带着这位武林神话人物走进了大都市
  • 祖人记

    祖人记

    青年陈屿为何无故遭到泳池暗算;父亲遗物为何沉睡千年老怪兽;肉身凡胎为何胆敢肖想超能力;最关键的是,神祇美少女为何非得倒贴同居?这一切的背后,到底是灵力的泯灭,还是祖神的沦丧,还是人性的扭曲?敬请关注《祖人记》这是一个关于亲情、友情与羁绊的温暖故事……兜兜转转,他站到最高的地方可最想要的,还是那双温柔抚过自己眉头的手。
热门推荐
  • 伊索寓言

    伊索寓言

    《伊索寓言》是一部古希腊寓言的总集,据说是一个名叫伊索的希腊奴隶所讲述的。寓言采取拟人化的手法,有的揭露权贵的愚蠢、残暴,有的总结人生的智慧、经验,教人处世的原则。其形式短小,内容隽永,于浅显生动的语言中,寓意着丰富的人生哲理。
  • 睡龙神话

    睡龙神话

    爱睡觉的家伙能成神?爷不相信!奥丁星球练级→大麦哲伦星系征战→宇宙遨游→终极神!什么叫天才?天才是比别人更百倍的努力!罗佟起点是高,但离开他自身的努力,能成神吗?笑话!奥法,拟态奥术,爷的神级奥术拟凤凰,凤凰涅槃重生!打不死你还磨不死你?
  • 天行

    天行

    号称“北辰骑神”的天才玩家以自创的“牧马冲锋流”战术击败了国服第一弓手北冥雪,被誉为天纵战榜第一骑士的他,却受到小人排挤,最终离开了效力已久的银狐俱乐部。是沉沦,还是再次崛起?恰逢其时,月恒集团第四款游戏“天行”正式上线,虚拟世界再起风云!
  • 至尊嚣妃:情挑冷面邪君

    至尊嚣妃:情挑冷面邪君

    ??一朝梦,两世人,破乱屋中立,金麟岂是池中物,一遇风云变化龙,噬血利剑撞上冰冷妖孽。<br/>女人说:“那些烦人的女人我解决”<br/>男人说:“那些讨厌的男人我解决”<br/>相视一笑,执子之手,笑望天下,问苍茫大地,谁主沉浮!????
  • 上洋暗魂

    上洋暗魂

    1849年的秋天,上海局势风谲云诡,洋泾浜的北侧被迫划为英国租界,南侧被迫划为法国租界。至此洋泾浜成为了一个清政府无权干涉,英法之间互不管辖的真空区域,正是由于权力的真空滋生出了一段不堪回首的往事。或许是时代的斗转星移,改变了他的命运。也或许是他的负隅顽抗,铸就了时代的更迭。一个内心柔弱、意志消沉、茕茕孑立之人在绝境之时,他愤然决定放手一搏,与仇恨共生,与命运对赌,反攻脆弱的自我。究竟他注定要被这无情巨浪淹没在静寂的深海里,还是他注定要掀起这段惊涛骇浪……
  • 我家有女要休夫

    我家有女要休夫

    雁薇铃,能文能武,精灵狡猾,为父报仇,被困在无剑山庄,那个妖孽庄主,好吧,困就困吧,不愁吃穿日子过的舒服,再把那闹个天翻地覆!谁知桃花旺,一时美男纷纷上门,那个妖孽却说:“你敢扑过去试试,信不信本庄主会打断你的狗腿!于是,故事拉开了序幕!
  • 万界之开局签到黑暗麒麟

    万界之开局签到黑暗麒麟

    林杰是一个宅男,梦想是穿越自己最喜欢的斗罗大陆世界,而命运给他开了一个玩笑,林杰成功穿越斗罗大陆,并且还成为了武魂殿的一员,吊打主角,迎娶千仞雪!走上人生巅峰!
  • 绝世医妃:废材逆天五小姐

    绝世医妃:废材逆天五小姐

    西岳国,都城春意盎然的四月,院落里百花齐放,悄然挺立的樱花树枝头一片片嫣红的雪樱随风飘落。樱花树下,墨黎汐安然坐在紫藤椅上。此时的她头发挽成一个复杂出彩的流云髻,一袭白色拖地长纱裙,粉色织锦腰带绝美将那不堪一握的芊芊楚腰束住,更显的绝美出尘气质,飘零的雪樱落在墨黎汐的肩头,微风袭来,宛若不食人间烟火的仙子。她如藕般纤长白皙的玉手里拿着的赫然便是浅云山庄名下最大的……
  • 女王的小镇

    女王的小镇

    一夜之间,家道中落,废柴退婚,难道这就是我的人生吗?开什么玩笑,这分明主角之路的开启啊,人称千斤大小姐的魏明月可绝不是浪得虚名,心宽体胖那是说我吗?开什么玩笑,心有山川之险,胸有城府之深。这样说来还差不多。时来运转,看千斤大小姐成为一镇之长,翻手为云覆手为雨,一手打造繁华小镇,重整旗鼓成就女王之路。
  • 等待爱的开始

    等待爱的开始

    这一部小说是我人生当中的第一部小说,所以如果有什么地方需要修改希望大家多多交流;如果这部小说与您的小说有什么地方相似的,那纯属巧合。下面是简介:当今一个非常著名的组合exo,在开演唱会时就与女主伊若星相遇,偶然间伊若星又被选入去韩国当交换生之后又与exo的成员鹿晗展开恋情的故事。