使用TensorFlow搭建智能开发系统,自动生成App UI代码

本文介绍了如何利用TensorFlow开发一个智能系统,从设计稿或App截图自动生成移动App的UI代码。通过CNN+Softmax进行界面分类,Faster-RCNN进行UI元素检测,最终结合DSL语言生成代码。系统还利用强化学习对生成的代码进行微调,旨在提高初级开发者效率。目前系统仍在发展中,未来计划改进文字和图片处理能力。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文转自微信号EAWorld。扫描下方二维码,关注成功后,回复“普元方法+”,将会获得热门课堂免费学习机会!
本文目录:
一、我们的现状与期望
二、我们的初级探索及建议
三、智能开发系统的自建之路
四、未完待续

一、我们的现状与期望
图片描述

首先,我们作为一个移动平台产品,必须解决的是让工程师更加容易的开展工作,“知识工作者智能化”是我们探索的方向,让移动开发工程师先用起AI,也是我们的期望。

针对我们的移动开发工程师,我们的主要的工作概括说有三件事:

了解需求
拿到UI设计
研发

我们期望的是,基于机器学习(ML)的移动平台,最终能够:

让初级开发人员具备专家80%的能力
让AI辅助移动App的研发工作。

对于AI,BAT有着不同的看法,马云的数据论,李彦宏的技术论,以及马化腾的场景论,我个人马化腾的论调跟我们不谋而合,我们认为切入点很重要。

图片描述

我们的切入点是:从设计稿(或者App 截图)到App 前端代码,这也是我今天分享的方向。

二、我们的初级探索与建议

为了,我们在实践的前期,进行了一些探索并总结了一些建议,希望能够给大家一些启发。

正如大家所知道的基于机器学习工程话的过程,需要数据、算法、算力以及工程话的配合,是一个不小的工程,我们的初步想法,是否借力SaaS的服务能力,于是我们进行了公有云服务的尝试。

图片描述

我们找了一张狗狗的图,实际的效果非常的赞。

准确识别狗,并且能够识别到品种;(潜台词:能够识别不同设计就好了)
有“鼻子”有眼的,看上去很美,(潜台词:能够识别设计里的UI控件就够了)

于是,我们抱有很大期望的用设计稿作为尝试,效果大致如下:

图片描述

实际上效果如上图,无法准确的认知这是一个设计图,更不用说是什么类型的UI以及UI内有哪些控件,于是我们尝试了另外一家。

图片描述

实际上效果,依旧无法使用。
经过公有云不成功的尝试我们总结了一下的结论:

图片描述

于是,我们进行了私有云的建设&#x

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值