最近一段时间实时流模块的研发,也的确填满了日常。

虽然很累,但是能掌握Flink的知识点又是格外的兴奋

知识的海洋是无边无际的,软件研发的工作是枯燥无味的,而我拥有充足的自学动力。

如果没有兴趣,那么将是多么痛苦的领悟。

今天想和大家分享之前做的一个私活案例, 虽然已破产 ,但是 经验是值得复盘总结 的。

不过,这次我负责全局,沟通和后端研发。

  • springboot、python数据挖掘算法 技术栈
  • 前端技术栈 Vue.js
  • 开发周期2个月
  • 开发人数 2 人
  • 整体费用是 4w

核心框架:springboot

技术角度而言,是一个完整的Python数据挖掘平台。
以微服务为基础,python的SKlearn机器学习工具包为核心,研发一套数据挖掘建模平台。

项目背景及需求

随着互联网技术的飞速发展,万物互联成为未来发展的必然趋势,人类正从计算机时代走向数据技术时代。

各个院校争先恐后的开展了Python数据挖掘课程,为了更好的进行线上教学。

让学生能够完整流程的体验机器学习的神奇。

需要研发Python数据挖掘建模平台,提供一个可进行 拖拽方式建模和notebook建模

客户对于建模平台的需求是:

完成需求表格里的主要功能,初版只提供演示能力即可。

之前在公司已经研发过大数据的数据科学平台,算是有建模思路。

不过真正自己完全去研发整个平台的时候,又是显得那么无力。

1、整个平台以java为基础,但是不仅仅如此,需要掌握python语言。

2、需要掌握常用的python机器学习算法。

3、时间不是很充足,只有业余时间进行研发。

钱不是这么好拿的,报价是真的低了

Python数据挖掘建模平台思路文档

好吧,说干就干。

我负责整个后端以及Python算法建模。

在分析了客户提供的整个需求文档,进行详细的交流之后,梳理了一个设计流程文档。

当时,梳理完这个流程文档后,感觉整个人都不好了。

数据源管理->数据集成->项目管理(拖拽和notebook)->系统算法组件管理

难受!!!

Python数据挖掘建模平台模块

在参考泰迪数据挖掘建模基础上,本项目采用springboot框架作为建模平台研发的基础,总体分为四个大模块。

对项目的简单统计,比如:专题项目里的建模任务的统计。

数据源管理

异构数据源连接,进行数据的集成到挖掘平台仓库。

首先是一个新建的工程项目->接着进入建模中心管理

两种建模方式:可视化拖拽建模+nodebook建模

1、Nodebook建模

2、可视化拖拽建模

系统组件管理

进行建模算法组件的管理,可以自行设计算法组件模板

虽然,此次项目由于某些原因没有完结。

但是整个Python数据挖掘建模流程思路,研发过程都已经了然于心。

可以作为:自研大数据平台的数据科学模块

好了,今天就聊到这里, 祝各位终有所成,收获满满!

我是脚丫先生,我们下期见~

更多精彩内容请关注 微信公众号 👇「脚丫先生」🔥:


一枚热衷于分享大数据基础原理,技术实战,架构设计与原型实现之外,还喜欢输出一些个人私活案例。


更多精彩福利干货,期待您的关注 ~

TipDM 数据挖掘 建模 平台 是基于 Python 引擎、用于 数据挖掘 建模 的开源 平台 平台 提供数量丰富的数据分析与挖掘 建模 组件,用户可在没有编程基础的情况下,通过拖拽的方式进行操作,将数据输入输出、数据预处理、挖掘 建模 、模型评估等环节通过流程化的方式进行连接,帮助用户快速建立 数据挖掘 工程,提升数据处理的效能。 平台 的界面如图1所示。 图1 平台 界面图 1. 平台 简介 TipDM 数据挖掘 建模 平台 主要有以下几...
1.    csv文件:csv_data= pd.read_csv('/路径/test.csv') 2.    txt文件:f= open('/路径/test.txt', 'r') 3.    excel文件: import xlrd f=xlrd.open_...
Python 数据分析@TOC 本系列作为作者的学习笔记,记录自己的学习时可以为大家想通过 python 的学习提供一些帮助,学习什么是数据分析,能解决哪些问题,采用的什么方法。尽量快速上手。如果有什么疑问大家也可以一起相互学习。 就直接都是学习的干货了,这里不介绍 python 的一些背景优点什么的了 Python 基础 1.1常用操作符 常用的操作符有算术操作符,赋值操作符,比较操作符,逻辑操作符。 算术操作符: