该死,这糟糕的心动感,梅开三度 每日观察
大家好,我是 Jack。
今天继续给大家推荐一些让人“心动”的开源项目。
(资料图)
一、point-eOpenAI 最近真的是杀疯了,真是一家大力出奇迹的公司。
先有 CLIP、再有 Dalle2,然后又搞了一个大火的 ChatGPT。
可谓是在多模态领域、图像生成领域、文本对话领域大杀特杀。
现在,他们又把“魔爪”伸向了 3D 模型生成领域!
我们看一下效果:
简单概述就是:
根据本文,生成 3D 模型。
并且运行速度也很快,单个 GPU,只需要 1-2 分钟。
你可别笑话这 3D 模型,颗粒感明显,后续提高精度了,有可能又是一波大杀特杀。
要知道,最原始的扩散模型生成 2D 图像,效果也是不太好。但自从 DDPM 发力后,基于本文的2D图像生成,开始迅猛发展,两年的时间,发展到了如今的 2D 高清图片生成。
像我之前分享的 AI 作画,就是基于扩散模型 LDM 做的。
从最初的难用、甚至不可用,到现在的火爆,只用了几年的时间。
想象一下:输入各种风格、主题、氛围的关键词,AI 就会生成符合要求的 3D 模型。
完善好后,这无疑又是动画、游戏、VR/AR等从业人员的一大利器。
项目刚刚开源,“新鲜热乎”:
项目地址:
https://github.com/openai/point-e
使用方法也很简单,首先下载代码,然后在项目根目录进行安装:
pipinstall-e.
然后就能使用 jupyter 运行以下代码:
支持:从图片生成点云、从文本生成点云、从点云生成 3D Mesh。
用 Point·E 依据文本提示生成 3D 点云的过程分为三个步骤:
1、依据文本提示,生成一个合成视图 (synthetic view)
2、依据合成视图,生成 coarse point cloud (1024 point)
3、基于低分辨率点云和合成视图,生成 fine point cloud (4096 Point)
感兴趣的小伙伴,可以玩一玩。
二、DiT没错,还是扩散模型。
绝大多数扩散模型,从 DDPM 开始,再到 DDIM、GLIDE,以及最新的 Imagen、LDM,用来预测噪声的网络,都是选择 UNet 作为基础架构。
加个多头 Attention,修改下网络尺寸,翻来覆去都是在折腾 UNet 结构。
最新发表的 DiT 改变了这个局面,用 Transformer!
扩散 Transformer(DiTs):一个基于 Transformer 的扩散模型主干,它优于先前的 U-Net 模型,并继承了 Transformer 模型类的优秀扩展特性,性能表现出色,代码刚刚开源!
我们直接看下效果对比:
FID 指标越小越好,其余指标越大越好。
从数据上看,DiT 比 LDM 还要好。
LDM 是谁?就是 NovelAI 用的底层模型。
真实场景,逼真自然的 2D 图像生成,离我们不远了。
项目地址:
https://github.com/facebookresearch/DiT
不想部署开发环境,直接测试,作者也贴心地提供了 Web 环境:
三、Best Papers 2022https://huggingface.co/spaces/wpeebles/DiT
时间过得真快,2022 年也接近了尾声。
跟往年一样,今年也出现了很多优秀的算法。
2022 年全年的 Amazing AI papers,有人整理了出来。
今年的,30+ 篇 Best Papers,整理得非常不错:
这里面的,有一部分我写过教程。
四、絮叨项目地址:
https://github.com/louisfb01/best_AI_papers_2022
时间过得飞快,2022 年都要结束了!
忙学业 or 忙工作,辛苦一年了,小伙伴们跨年准备怎么过啊?
“阳康”的我,决定跨年那天出去放松一波。
打起精神,迎接 2023!
·················END·················为您推荐
-
7月7日,记者从自治区投资促进局获悉,我区以项目开工为抓手,强化招商引资项目落地导向,截至6月底,全区二季度410个招商引资重点项目开工
22-07-08
-
7月7日,记者从自治区投资促进局获悉,我区以项目开工为抓手,强化招商引资项目落地导向,截至6月底,全区二季度410个招商引资重点项目开工
22-07-08
-
3月15日,中来股份发布公告称,公司与太原市人民政府、古交市人民政府签署了《战略合作与投资协议》,公司拟在山西省古交市投资年产20万吨
22-03-18
-
中新网8月28日电 据健康北京微信公众号消息,北京中康时代康复医院、北京四惠中医医院等多家医疗机构,存在工作人员未严格落实定期进
21-08-30
-
中新网兰州8月28日电 (记者 殷春永 冯志军)“刚开始说待三年,但三年之后又三年……”14年前受上级“委派”,在大漠戈壁深处的峡谷
21-08-30
-
中新网上海8月28日电 (张践)阿依古丽来自新疆阿勒泰地区,2009年来到上海创业。十余年来,阿依古丽身边的小伙伴们都亲切地称呼她为“
21-08-30
-
新华社郑州8月28日电(记者翟濯)记者从河南省政府新闻办28日举办的“河南省加快灾后重建”周口专场新闻发布会上获悉,本次洪涝灾害共造
21-08-30
-
中新网防城港8月28日电(陈思华 罗婕 李尚珍)8月28日上午,广西防城港火车站增加4条到发线工程正式开工。该工程系广西“十四五”规划
21-08-30
-
河南第一产粮大市近800万亩未受灾秋粮长势喜人 有望以丰补歉 中新网郑州8月28日电 (记者 李贵刚)记者28日从“河南省加快灾后重建
21-08-30
- 该死,这糟糕的心动感,梅开三度 每日观察
- 【环球时快讯】【手慢无】杀疯了!32英寸4K显示器不足千元
- 格林美与岚图汽车签署建设动力电池全生命周期绿色产业链战略合作框架协议_视点
- 全球微资讯!2022年"四川企业技术创新发展能力100强企业"系列名单正式揭晓
- 大闸蟹死去两天还能食用吗?
- 新冠特效药板块走低 海辰药业跌超7%|天天热文
- 无线充电板块12月29日跌0.3%,飞荣达领跌,主力资金净流出1.26亿元
- 新消息丨财政部:2023年要坚持系统观念、守正创新 更好统筹疫情防控和经济社会发展
- 【环球新视野】暴利税收不得?埃克森美孚(XOM)起诉欧盟
- 环球速讯:郑州元旦、春节拟举办商品房团购活动,鼓励房企优惠让利