随着数据库应用领域的进一步拓展与深入,传统的数据模型已逐渐不能满足实际工作对数据处理的需要。而对象数据、空间数据、图像与图形数据、声音数据、关联文本数据及海量仓库数据等出现,传统数据库在建模、语义处理、灵活度等方面都无法适应。为满足发展需要,数据模型向多样化发展,主要表现在以下几方面。
1、传统关系模型的扩充
2、面向对象数据模型
3、XML数据模型
4、发展出新的数据模型
物联云定制
随着数据库应用领域的进一步拓展与深入,传统的数据模型已逐渐不能满足实际工作对数据处理的需要。而对象数据、空间数据、图像与图形数据、声音数据、关联文本数据及海量仓库数据等出现,传统数据库在建模、语义处理、灵活度等方面都无法适应。为满足发展需要,数据模型向多样化发展,主要表现在以下几方面。
1、传统关系模型的扩充
2、面向对象数据模型
3、XML数据模型
4、发展出新的数据模型
数据建模,通俗地说,就是通过建立数据科学模型的手段解决现实问题的过程。数据建模也可以称为数据科学项目的过程,并且这个过程是周期性循环的。
数据建模的具体过程可分为六大步骤:
一、制订目标
制订目标的前提是理解业务,明确要解决的商业现实问题是什么?
如:在社交平台KOL中,存在假粉丝的情况,如何识别假粉就是一个要解决的现实问题。
二、数据理解与准备
基于要解决的现实问题,理解和准备数据,一般需要解决以下问题:
1.需要哪些数据指标(即特征提取)?(如:哪些指标能区别真粉和假粉?)
2.数据指标的含义是什么?
3.数据的质量如何?(如:是否存在缺失值?)
4.数据能否满足需求?
5.数据还需要如何加工?(如:转换数据指标,将类别型变量转化为0-1哑变量,或将连续型数据转化为有序变量)
6.探索数据中的规律和模式,进而形成假设。
需要注意的是,数据准备工作可能需要尝试多次。因为在复杂的大型数据中,较难发现数据中存在的模式,初步形成的假设可能会被很快推到,这时一定要静心钻研,不断试错。
数据建模后需要评估模型的效果,因此一般需要将数据分为训练集和测试集。
建立模型的步骤:
三、建立模型
在准备好的数据基础上,建立数据模型,这种模型可能是机器学习模型,也可能不需要机器学习等高深的算法。选择什么样的模型,是根据要解决的问题(目标)确定的。
当然可以选择两个或以上的模型对比,并适当调整参数,使模型效果不断优化。
四、模型评估
模型效果的评估有两个方面:一是模型是否解决了需要解决的问题(是否还有没有注意和考虑到的潜在问题需要解决);二是模型的准确性(误差率或者残差是否符合正态分布等)。
如:在识别KOL假粉的问题中,需要评估的是:模型能否识别出假粉?识别的误差率是多少?粉丝识别误差率=(假粉误认为真粉的数量+真粉误认为假粉的数量)/总粉丝数
(作者: 来源:)