女娲可视化平台

系统平台

Posted by koryako on March 19, 2019

前言: 项目记录!!


实验
  • sketch-> GUI token ->GUI Code

    运行所有模型

    尝试不同的超参数

    测试一个不同的 CNN 架构

    添加双向 LSTM 模型

    用不同数据集实现模型

  • 任务描述->任务token ->逻辑js

工程
  • 1. 服务应用平台分为主题管理、物料管理(模版)、接口管理、sketch插件生成模块
  • 2. Graphql+parse server+node+mysql
  • 3. 核心core(moblenet_ssd_restapi)
  • 4. 可视化工具(模版制作工具)
  • 5. 后台管理(权限管理)
  • 6. 使用相应的规则创建代码生成器
进一步实验
  • 从草图到应用模型的数据。自动将应用/网页截图转化为草图,并使用 GAN 创建多样性。

  • 应用注意力层可视化每一预测的图像聚焦,类似于这个模型

  • 使用多任务编码器方法创建一个框架。比如,有字体的编码器模型,一个用于颜色,另一个用于排版,并使用一个解码器生成它们。

引用git代码
  1. https://github.com/tonybeltramelli/pix2code
  2. https://github.com/ashnkumar/sketch-code
  3. https://github.com/emilwallner/Screenshot-to-code
  4. https://github.com/microsoft/sketch2code
参考资料
  1. https://www.bilibili.com/video/av18466563/
  2. https://github.com/llSourcell/ethereum_future/blob/master/A%20Deep%20Learning%20Approach%20to%20Predicting%20Cryptocurrency%20Prices.ipynb
  3. 前端开发者的福音:根据UI设计图自动生成GUI骨架代码
  4. https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650751264&idx=1&sn=7e8f0fc8fef07db5fb18d26a17573a62&chksm=871a855eb06d0c48e4b98bc548fea70677788ee56d7af4f21a083ba591cbf70e8b1eb699129d&mpshare=1&scene=1&srcid=1105Ni1LszP3Y1UmWhJ1wR6J#rd
  5. https://mp.weixin.qq.com/s?__biz=MzIzNjc1NzUzMw==&mid=2247496681&idx=3&sn=885b227400bdc8c81d74feffcb1b6c5c&chksm=e8d0449bdfa7cd8d4b4853cdb4688dbda15655ef79e4ccb217e43fb38755e009a401baa00492&mpshare=1&scene=1&srcid=0408MwVESfztRJVlDTYpFb2l#rd
  6. BLEU 评分