前言: 项目记录!!
实验
-
sketch-> GUI token ->GUI Code
运行所有模型
尝试不同的超参数
测试一个不同的 CNN 架构
添加双向 LSTM 模型
用不同数据集实现模型
-
任务描述->任务token ->逻辑js
工程
- 1. 服务应用平台分为主题管理、物料管理(模版)、接口管理、sketch插件生成模块
- 2. Graphql+parse server+node+mysql
- 3. 核心core(moblenet_ssd_restapi)
- 4. 可视化工具(模版制作工具)
- 5. 后台管理(权限管理)
- 6. 使用相应的规则创建代码生成器
进一步实验
-
从草图到应用模型的数据。自动将应用/网页截图转化为草图,并使用 GAN 创建多样性。
-
应用注意力层可视化每一预测的图像聚焦,类似于这个模型
-
使用多任务编码器方法创建一个框架。比如,有字体的编码器模型,一个用于颜色,另一个用于排版,并使用一个解码器生成它们。
引用git代码
- https://github.com/tonybeltramelli/pix2code
- https://github.com/ashnkumar/sketch-code
- https://github.com/emilwallner/Screenshot-to-code
- https://github.com/microsoft/sketch2code
参考资料
- https://www.bilibili.com/video/av18466563/
- https://github.com/llSourcell/ethereum_future/blob/master/A%20Deep%20Learning%20Approach%20to%20Predicting%20Cryptocurrency%20Prices.ipynb
- 前端开发者的福音:根据UI设计图自动生成GUI骨架代码
- https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650751264&idx=1&sn=7e8f0fc8fef07db5fb18d26a17573a62&chksm=871a855eb06d0c48e4b98bc548fea70677788ee56d7af4f21a083ba591cbf70e8b1eb699129d&mpshare=1&scene=1&srcid=1105Ni1LszP3Y1UmWhJ1wR6J#rd
- https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247496681&idx=3&sn=885b227400bdc8c81d74feffcb1b6c5c&chksm=e8d0449bdfa7cd8d4b4853cdb4688dbda15655ef79e4ccb217e43fb38755e009a401baa00492&mpshare=1&scene=1&srcid=0408MwVESfztRJVlDTYpFb2l#rd
- BLEU 评分