抠图专家要失业了?CV技术加持下的AR,实现隔空抠图复制粘贴

 人工智能技术     |      2020-05-15 16:08

作者 | 蒋宝尚

编辑 |贾 伟

传说中有一种电脑高手可以在一台电脑上按下Ctrl+C,在另一台电脑上按下Ctrl+V就能进行跨设备粘贴复制。

虽然只是传说,但有无数的电脑极客为这个目标而努力。而现在利用机器学习+AR技术攻克了这个难题。

利用这个技术只用一部手机就能将书上的图片直接复制到电脑上,全程用不到10秒钟。

手写框架图自然也不在话下~

这个项目是一位自称艺术家的法国人创造,据在reddit提供的github地址,发现作者名为Cyril Diagne,此外其还是一家AI公司的联合创始人。

项目地址:https://github.com/cyrildiagne/ar-cutpaste

虽然目前仅能用于Photoshop,但作者相信未来可以处理更加不同类型的输出。从粘贴到复制,完成整个过程需要三个模块:移动APP、本地服务器、背景移除。

其中,移动APP使用了Expo这个通用的React应用架构和平台搭建,本地服务器使用了ScreenPoint超早摄像头在屏幕上所指向的位置,背景移除使用的技术是基于被Pattern Recognition 2020 收录的论文《U^2-Net: Going Deeper with Nested U-Structure for Salient Object Detection》。目前此论文尚找到下载版本,不过论文代码已经放出。

代码地址:

https://github.com/NathanUA/U-2-Net

部署步骤

根据作者Github,整个部署可以分为四步:Photoshop配置、设置外部显著对象检测服务器、配置和运行本地服务、配置和运行移动APP。

Photoshop配置:1.进入“Preferences>Plug-ins”,启用“远程连接”,并设置稍后需要的密码。2.确保PS文档设置与server/src/ps.py中的设置匹配,否则会粘贴空白。3.确保文档有背景,如果背景空白SIFT可能无法进行正确的匹配。

设置外部显著对象检测服务器:1.需要使用 BASNet-HTTP作为外部HTTP服务部署BASNet模型;2.将需要部署的服务URL来配置本地服务器。3.如果在与本地服务相同的计算机上运行Basnet,请务必配置不同的端口。

配置并运行本地服务器的时候,按照上面的代码和说明。


  • 共3页:
  • 上一页
  • 1
  • 2
  • 3
  • 下一页