数据模型按不同的应用层次分成三种类型:分别是概念数据模型、逻辑数据模型、物理数据模型 。
概念数据模型概念数据模型(Conceptual Data Model),是一种面向用户、面向客观世界的模型,主要用来描述世界的概念化结构,它是数据库的设计人员在设计的初始阶段,摆脱计算机系统及DBMS的具体技术问题,集中精力分析数据以及数据之间的联系等,与具体的数据管理系统(Datab
物联网关方案定制
数据模型按不同的应用层次分成三种类型:分别是概念数据模型、逻辑数据模型、物理数据模型 。
概念数据模型概念数据模型(Conceptual Data Model),是一种面向用户、面向客观世界的模型,主要用来描述世界的概念化结构,它是数据库的设计人员在设计的初始阶段,摆脱计算机系统及DBMS的具体技术问题,集中精力分析数据以及数据之间的联系等,与具体的数据管理系统(Database Management System,简称DBMS)无关。概念数据模型必须换成逻辑数据模型,才能在DBMS中实现 [5] 。在概念数据模型中常用的是E-R模型、扩充的E-R模型、面向对象模型及谓词模型。
随着数据库应用领域的进一步拓展与深入,传统的数据模型已逐渐不能满足实际工作对数据处理的需要。而对象数据、空间数据、图像与图形数据、声音数据、关联文本数据及海量仓库数据等出现,传统数据库在建模、语义处理、灵活度等方面都无法适应。为满足发展需要,数据模型向多样化发展,主要表现在以下几方面 。
1、传统关系模型的扩充关系模型实际上还是管理信息系统重要的支撑模型,在此基础之上,引入新的手段,使之能表达更加复杂的数据关系,扩大其实用性,提高建模能力。从总体上看,扩充一般在两个方面进行。一是实现关系模型嵌套,这种方式可以实现“表中表”这类较为复杂的数据模型;二是语义扩充,如支持关系继承及关系函数等。
我们通过“体系感”来把控自己,通过图纸来建立高楼大厦。同样,我们可以通过“数据模型”来管理我们的数据。
数据模型就是数据的组织和存储方法,它强调了从业务、数据存取和使用角度合理存储数据、有了适合业务和基础数据存储环境的模型,那么大数据就会获得以下好处:
性能
良好的数据模型你帮助我们查询所需要的数据,减少数据的IO吞吐。
成本
良好的数据模型能极大地减少不必要的数据冗余,也能实现计算结果复用,极大地降低大数据系统中的存储和计算成本。
效率
良好的数据模型能极大地改善用户使用数据的体验,提高使用数据的效率。
质量
良好的数据模型能改善数据统计口径的不一致性,减少计算错误的可能下。
数据建模,通俗地说,就是通过建立数据科学模型的手段解决现实问题的过程。数据建模也可以称为数据科学项目的过程,并且这个过程是周期性循环的。
数据建模的具体过程可分为六大步骤:
一、制订目标
制订目标的前提是理解业务,明确要解决的商业现实问题是什么?
如:在社交平台KOL中,存在假粉丝的情况,如何识别假粉就是一个要解决的现实问题。
二、数据理解与准备
基于要解决的现实问题,理解和准备数据,一般需要解决以下问题:
1.需要哪些数据指标(即特征提取)?(如:哪些指标能区别真粉和假粉?)
2.数据指标的含义是什么?
3.数据的质量如何?(如:是否存在缺失值?)
4.数据能否满足需求?
5.数据还需要如何加工?(如:转换数据指标,将类别型变量转化为0-1哑变量,或将连续型数据转化为有序变量)
6.探索数据中的规律和模式,进而形成假设。
需要注意的是,数据准备工作可能需要尝试多次。因为在复杂的大型数据中,较难发现数据中存在的模式,初步形成的假设可能会被很快推到,这时一定要静心钻研,不断试错。
数据建模后需要评估模型的效果,因此一般需要将数据分为训练集和测试集。
(作者: 来源:)