最近一段时间实时流模块的研发,也的确填满了日常。

虽然很累,但是能掌握Flink的知识点又是格外的兴奋 。

知识的海洋是无边无际的,软件研发的工作是枯燥无味的,而我拥有充足的自学动力。

如果没有兴趣,那么将是多么痛苦的领悟。

今天想和大家分享之前做的一个私活案例, 虽然已破产 ,但是 经验是值得复盘总结 的。

不过,这次我负责全局,沟通和后端研发。

  • springboot、python数据挖掘算法 技术栈
  • 前端技术栈 Vue.js
  • 开发周期2个月
  • 开发人数 2 人
  • 整体费用是 4w

核心框架:springboot

技术角度而言,是一个完整的Python数据挖掘平台。
以微服务为基础,python的SKlearn机器学习工具包为核心,研发一套数据挖掘建模平台。

项目背景及需求

随着互联网技术的飞速发展,万物互联成为未来发展的必然趋势,人类正从计算机时代走向数据技术时代。

各个院校争先恐后的开展了Python数据挖掘课程,为了更好的进行线上教学。

让学生能够完整流程的体验机器学习的神奇。

需要研发Python数据挖掘建模平台,提供一个可进行 拖拽方式建模和notebook建模 。

客户对于建模平台的需求是:

完成需求表格里的主要功能,初版只提供演示能力即可。

之前在公司已经研发过大数据的数据科学平台,算是有建模思路。

不过真正自己完全去研发整个平台的时候,又是显得那么无力。

1、整个平台以java为基础,但是不仅仅如此,需要掌握python语言。

2、需要掌握常用的python机器学习算法。

3、时间不是很充足,只有业余时间进行研发。

钱不是这么好拿的,报价是真的低了

Python数据挖掘建模平台思路文档

好吧,说干就干。

我负责整个后端以及Python算法建模。

在分析了客户提供的整个需求文档,进行详细的交流之后,梳理了一个设计流程文档。

当时,梳理完这个流程文档后,感觉整个人都不好了。

数据源管理->数据集成->项目管理(拖拽和notebook)->系统算法组件管理

难受!!!

Python数据挖掘建模平台模块

在参考泰迪数据挖掘建模基础上,本项目采用springboot框架作为建模平台研发的基础,总体分为四个大模块。

对项目的简单统计,比如:专题项目里的建模任务的统计。

数据源管理

异构数据源连接,进行数据的集成到挖掘平台仓库。

首先是一个新建的工程项目->接着进入建模中心管理

两种建模方式:可视化拖拽建模+nodebook建模

1、Nodebook建模

2、可视化拖拽建模

系统组件管理

进行建模算法组件的管理,可以自行设计算法组件模板

虽然,此次项目由于某些原因没有完结。

但是整个Python数据挖掘建模流程思路,研发过程都已经了然于心。

可以作为:自研大数据平台的数据科学模块

好了,今天就聊到这里, 祝各位终有所成,收获满满!

我是脚丫先生,我们下期见~

更多精彩内容请关注 微信公众号 👇「脚丫先生」🔥:


一枚热衷于分享大数据基础原理,技术实战,架构设计与原型实现之外,还喜欢输出一些个人私活案例。


更多精彩福利干货,期待您的关注 ~

TipDM 数据挖掘 建模 平台 是基于 Python 引擎、用于 数据挖掘 建模 的开源 平台 。 平台 提供数量丰富的数据分析与挖掘 建模 组件,用户可在没有编程基础的情况下,通过拖拽的方式进行操作,将数据输入输出、数据预处理、挖掘 建模 、模型评估等环节通过流程化的方式进行连接,帮助用户快速建立 数据挖掘 工程,提升数据处理的效能。 平台 的界面如图1所示。 图1 平台 界面图 1. 平台 简介 TipDM 数据挖掘 建模 平台 主要有以下几...
1.    csv文件:csv_data= pd.read_csv('/路径/test.csv') 2.    txt文件:f= open('/路径/test.txt', 'r') 3.    excel文件: import xlrd f=xlrd.open_...
Python 数据分析@TOC 本系列作为作者的学习笔记,记录自己的学习时可以为大家想通过 python 的学习提供一些帮助,学习什么是数据分析,能解决哪些问题,采用的什么方法。尽量快速上手。如果有什么疑问大家也可以一起相互学习。 就直接都是学习的干货了,这里不介绍 python 的一些背景优点什么的了 Python 基础 1.1常用操作符 常用的操作符有算术操作符,赋值操作符,比较操作符,逻辑操作符。 算术操作符: