登陆注册
57676100000576

第576章 AI 智能修复老照片

图像识别技术本身的原理并不复杂,信息的处理是这一技术的关键点所在。

近年来,由于深度学习的发展,大大提高了图像识别的准确率,深度学习通过大量图像数据信息特征的积累与分析,可自动完成特征提取和图像匹配等任务。

最近一段时间,最受欢迎的必须是图像修复功能。

早在文艺复兴时期,人们就开始修复一些中世纪的艺术品,其目的在于通过填补一些裂缝来使画面恢复原貌,这一工作就称之为“Inpainting“(修复,润饰)或“Retouching“。

M. Bertalmio首次提出许多图像修复能被简化为一个数学表达式,利用计算机能自动加以实现。

图像修复现已是计算机图形学和计算机视觉中的一个研究热点,在文物保护、影视特技制作、虚拟现实、多余物体剔除(如视频图像中删除部分人物、文字、小标题等)等方面有着重大的应用价值。

其中常见的修复方法有:

偏微分方程的方法:Bertalmio采用偏微分方程(PDE)的方法进行图像修复,取得了较好的效果。

用户需指定需要修复的区域,算法将待修补的区域边界的等值线外部的信息沿轮廓法向扩散到中间待修补的象素上。

该算法利用局部颜色的光滑度沿着等值线扩散,考虑了各向异性的扩散,以保证边缘处的边界连续,但该方法计算不稳定。

整体变分方法和基于曲率的扩散模型:整体变分方法(TV,TotalVariational)采用了欧拉-拉格朗日方程和各向异性的扩散,基于曲率的扩散模型(CDD,Curvature-DrivenDiffusion)方法是整体变分方的一种扩展,在扩散过程中考虑了轮廓的几何信息(曲率),可以处理较大的区域,但边界处往往很模糊。

高斯卷积核对图像进行滤波的方法:利用了高斯卷积核对图像进行滤波,能快速地修复破损区域,但该算法仅考虑了破损区域边缘一周的图像颜色值,使得其仅适用于破损区域为2-3个象素宽度的情形。

纹理合成的方法:纹理合成的方法,能较好地去除图像中的大块污斑,但由于算法运行时间不是与掩模区域成正比,而是与图像大小成正比,因此修复时间相对较长。

而今天我们就将借助Python实现我们的修图效果。

所使用的的python库有cv2库,目的是用来读取图片,处理图片像素值和保存图片等;numpy用来对读取过来的像素值矩阵进行运算。

修复程序处理一的搭建

1、图像处理第一步:

首先我们所借助常用的OpenCV处理手段进行处理图片。首先进行的是图片二值化处理和创建结构元素。

2、扩张修复区域:

识别到修复区域并根据相邻像素值进行扩张达到弥补像素值修复图片的效果。cv2.inpaint()函数主要涉及两种算法。

一种算法是从该区域的边界开始,然后进入区域内,逐渐填充边界中的所有内容。它需要在邻近的像素周围的一个小邻域进行修复。该像素由邻居中所有已知像素的归一化加权和代替。选择权重是一个重要的问题。对于靠近该点的那些像素,靠近边界的法线和位于边界轮廓上的像素,给予更多的权重。

另一种是基于流体动力学并利用偏微分方程。基本原则是heurisitic。它首先沿着已知区域的边缘行进到未知区域(因为边缘是连续的)。它继续等照片(连接具有相同强度的点的线,就像轮廓连接具有相同高度的点一样),同时在修复区域的边界处匹配渐变矢量。为此,使用来自流体动力学的一些方法。获得颜色后,填充颜色以减少该区域的最小差异。

修复程序处理二的搭建

1、图像处理第二步:

转换成hsv值,根据hsv值判断图片的前景和后景。HSV是一种将RGB色彩空间中的点在倒圆锥体中的表示方法。HSV即色相(Hue)、饱和度(Saturation)、明度(Value),又称HSB(B即Brightness)。色相是色彩的基本属性,就是平常说的颜色的名称,如红色、黄色等。饱和度(S)是指色彩的纯度,越高色彩越纯,低则逐渐变灰,取0-100%的数值。明度(V),取0-max(计算机中HSV取值范围和存储的长度有关)。HSV颜色空间可以用一个圆锥空间模型来描述。圆锥的顶点处,V=0,H和S无定义,代表黑色。圆锥的顶面中心处V=max,S=0,H无定义,代表白色。其中主要用到的函数是cv2库中的cv2.cvtColor()函数,将RGB图像(在opencv中设计BGR图像)转换为HSV图像用到了参数cv2.COLOR_BGR2HSV。

2、图像修复:

在扩张修复区域的基础上外加调整像素值图片处理。

其中腐蚀操作详细如下:

定义了一个十字形结构元素其实是一个矩阵,我们知道在图片的腐蚀过程,对图片的每个点,使用这个结构扫描每一个点,用结构元素与其覆盖的二值图像做“与”操作,如果都为1,结果图像的该像素为1。否则为0,腐蚀处理的结果是使原来的二值图像减小一圈。使用的函数:cv2.erode(img,kernel);

膨胀操作详细如下:

使用同样的结构,对图片的每个点,使用这个结构扫描每一个点,用结构元素与其覆盖的二值图像做“与”操作,如果出现1,结果图像的该像素为1。否则为0,腐蚀处理的结果是使原来的二值图像扩大一圈。使用的函数:cv2.dilate(img,kernel)

同类推荐
  • 蓉易不容易

    蓉易不容易

    一夜暴富后,你的生活会发生什么样的变化?买豪宅、豪车?还是环游世界,尽情挥霍?易涛恰好暴富了,然而他的生活并没有像他想象中的那样轻松了许多……(故事纯属虚构,内容不构成理财建议。)
  • 烟山浮生录

    烟山浮生录

    从每一处落脚,我知道,因无处逃,便开口笑,窗外风驱赶无聊,低头笑,佳人老,谁说谁是非惹她恼!灯里绕,岁月薄,欠我一世柔情谁道!终是那,不见寂寥,怎肯卧南山道。齐烟山,俗人一枚,在芸芸众生里,不特别提起,都不会正眼关注,如苏牧云对他的评价,丫就是一不引人注目却能误人一生的臭流氓,齐烟山听完笑笑,臭屁道还算中肯。认识齐烟山的人,都知晓他的那段特殊的经历,因为结了因,所以就要了却果,谁也逃脱不了。很多时候,每一件故事里都藏着说不清道不明的隐秘,故事说来容易,却更容易经过众口的填补,使得更显出传奇色彩,这话也如齐大炮齐秉锐说的,众口填补,建丰碑一座,众口掘地,毁城池百里。
  • 悲惨喜剧

    悲惨喜剧

    我在噩梦中诞生,我的主人格,在阳光下生存,我在阴暗中苟且。
  • 我与白瀚

    我与白瀚

    白无恙,白瀚,陈若生。一场自我内心的对话,从我,到我们……假如哪一天,我和他坐在天台看了那场日出,我破门而出,冲入雨中,又或者,我终于有勇气对那个女孩说出那句话,哪怕只是分别时的一句“再见”,人只有深陷在后悔中才会做出正确的选择。如果……我的选择是正确的,那我究竟会是白无恙、白瀚,还是陈若生。而,光荣、革新、平凡,哪一个才是我所求,哪一个又是我所厌。在胜利与失败、生或死之间,或许无人生还,或许活在梦中。“那朵花,他叫彼岸花吗?”这问题的答案,彳亍在,我与白瀚之间。
  • 我和L君的爱情

    我和L君的爱情

    我叫吴倾卿,我的先生叫李晓峰,我的龙宝宝。好几次我都差一点就弄丢他了。还好,我很幸运。经过那么多坎坷和磨难,现在,我们快要结婚了,以后我再也不会放手了。很期待以后的生活……(真实故事,现实改编,如有巧合,属实雷同。)PS女主轻度抑郁症有点丧
热门推荐
  • 超脱者联盟

    超脱者联盟

    超脱者,与常人不同,他们天生为战斗而生,有着不同的使命,打破天道的枷锁,扭转乾坤,置之死地而后生!
  • 赠你余生不悔

    赠你余生不悔

    她没想到,结婚六年,自己为这个家勤勤恳恳付出,辛苦挣钱为丈夫出国学习,最后换来的是丈夫和另一个女人,在他们的新房里对她提出离婚。她不答应,他们就想办法折磨她,备受折磨后,没有一个人相信她,而相识多年的他,拯救了她的人生。--情节虚构,请勿模仿
  • 泪痕大陆

    泪痕大陆

    一个梦一个琥珀,让一名高中生来到了泪痕大陆,这里有仙魔妖精灵矮人,这里本因和平共处,然而现在却是战斗不断,他能否揭开泪痕真相,让泪痕大陆继续和平
  • 娇妻良医

    娇妻良医

    两度生死,棺中醒来,肚子里带着一个“包子”的柳轻心,听着外边给她守灵的一对狗男女你侬我侬,不禁犹豫,本姑娘是该坐起来,吓死这两个王八蛋,还是消停儿的在棺材里面躺着,找个机会,带着肚子里的小兔崽子远走高飞?年代是明朝,人物属虚构,除了书里的药方,是出自各大医典和偏方手记验方,其他部分,都是故事~ps:中医讲究望闻问切,视病情方剂增减,若生病,请及时就医,勿自行依表症判断,草木常伴毒性和生克,用药需谨慎~千【娇】百媚终将老,一世繁华伴平生。
  • 七日疗愈

    七日疗愈

    经历了一番波折之后的某一天,我忽然得知,生命仅剩七天了,那么我该做什么选择呢?
  • TFBOYS之对你宠爱

    TFBOYS之对你宠爱

    写的是三个女孩和TFBOYS爱情校园故事,清瑶第一次写小说,写的不好希望大家能够包容,嘻嘻
  • 守护学姐

    守护学姐

    很晚的相遇,很漫长的等待,未知的守候
  • 异界脱变

    异界脱变

    一个字可封天,一件器可镇世,一株草可伐仙。这是一个充满战与乱的年代,切看我如何逆世伐天……
  • 乖老婆不肯复婚

    乖老婆不肯复婚

    她不过是去了趟旅游,一回来就捉奸在床。她的爱容不得一粒沙子,她决绝地离婚。只是为什么他又缠上她,还跟当初一样用鲜花攻势追她,甚至舍命相救。说她不感动是假的!只是她对婚姻已经没有了信心,谁知道他会不会再犯错?!那他们就只做情人不结婚好了……
  • 上司是网恋对象

    上司是网恋对象

    网恋对象是上司?乔楠看到对面那个拿着定情信物的西装男,脸上一阵发热。她的网恋对象居然是那个每天让她加班变态男?而那个每天晚上在她耳边甜甜地喊着“老婆,宝贝”的男人,居然就是她的上司?乔楠一万个mmp,果然,这个世界太小了……