1、 必修一数据与计算知识要点必修一数据与计算知识要点 一、数据与信息一、数据与信息 （一）数据与信息概述（一）数据与信息概述 本单元以“数据”为主线，通过感知、体验生活中具体数据的应用，辨析数据、信息、知识的概念及相互关系，由数据的采集、存储与处理了解数字化的概念，进而理解二进制、数制转换以及字符、图像、声音和视频等数据编码的原理，理解数据管理和数据保护的基本方法，了解大数据的概念、特征以及对人类思维方式的影响等大数据相关知识。内容结构如下： （二）数据与信息（二）数据与信息 1. 数据的概念 数据是对客观事物的符号表示数据是对客观事物的符号表示，如图形符号、数字、字母等。在计算机科学中，数据是
2、指所有能输入到计算机中并被计算机程序处理的符号总称，是用于输入到计算机中进行处理 ，具有一定意义的数字、字母、符号和模拟量等的通称。其表现形式可以是文字、图形、图像其表现形式可以是文字、图形、图像 、音频、视频等、音频、视频等。数据已经成为生活的一部分，对人们的生活方式产生了影响，为人类的重大决策提供依据。 2. 信息的概念、特征 信息还未有统一的定义，不同的领域往往有自己的定义，但所指向的都是同一含义，并能被人们感受及利用。信息具有各种特征，如载体依附性、时效性、传递共享性、真伪性及可加工处理性等信息具有各种特征，如载体依附性、时效性、传递共享性、真伪性及可加工处理性等，信息往往蕴含价值，同
3、一信息对于不同的人而言，价值可能不同。 3. 数据、信息与知识的关系 单纯的数据往往没有意义。数据经过储存单纯的数据往往没有意义。数据经过储存、分析及解释后所产生的意义，就是信息、分析及解释后所产生的意义，就是信息,信息通常是在某一特定情境脉络下的具体呈现。人们通过归纳、演绎、比较等手段对信息进行挖掘，将万千信息中有价值的人们通过归纳、演绎、比较等手段对信息进行挖掘，将万千信息中有价值的部分沉淀下来，与已存在的人类知识体系相结合，形成知识部分沉淀下来，与已存在的人类知识体系相结合，形成知识。知识的获得，是人利用自身已有的知识对信息进行加工，进而将新的信息纳入自己的知识结构的过程。这不仅仅是对信
4、息的积累，还是对信息进行分析、判断、确认、归纳、演绎或比较等一系列的认知过程。 （三）数据采集与编码（三）数据采集与编码 1. 数据采集 数据可以通过人工方式采集，这种采集方法往往受到数量、地 域 、时间等限制。目前，人们在生活、工作中主要借助传感器、互联网等来采集数据。 2. 数字化 信息可用模拟信号或数字信号表达，模拟信号与数字信号可以相互转换。将模拟信号转换为可用计算将模拟信号转换为可用计算机处理的数字信号的过程，称作数字化机处理的数字信号的过程，称作数字化，一般需要经过采样采样、量化量化与编码编码三个环节。 3. 数制及数制转换 任何进制数都可以用基数与权值来表示，对于 k 进制数，其
5、计数规则为“逢 k 进一”。常见的数制有二进制、八进制、十进制和十六进制。k 进制数转换成十进制数可用按权展开 相加法；十进制整数转换成k 进制整数可用除 k 取余法。其中，二进制数转换成十六进制数，从二进制数的低位开始，每四位二进制数转换成一位十六进制数，反之，每一位十六进制数可转换成四位二进制数。 4. 编码 编码是信息按照某种规则或格式，从一种形式转换为另一种形式的过程。解码是编码的逆过程。常见的编码有 ASCII 码、各种汉字编码、条形码/二维码、声音/图像/视频编码等。 （四）数据管理与安全（四）数据管理与安全 1. 数据管理 数据管理是利用计算机硬件和软件技术对数据进行有效收集、存
6、储、处理和应用的过程,其目的在于充分、有效地发挥数据的作用。当今社会，数据库已经成为主要的数据管理形式。 2.数据安全 数据安全，指的是既要保证存储介质的安全，如可采用磁盘阵列、数据备份、异地容灾等手段，同时又要保证数据本身的安全，如通过数据加密、数据校验等方法来提高数据的保密性和完整性。 （五）大数据（五）大数据 1.大数据的概念 大数据代表着信息量大、 速度快、 种类繁多的信息资产，需要特定的技术和分析方法将其转化为价值。也就是说，大数据之“大”，不仅指规模、速度和种类的特征，还意味着它超出以往常用的数据采集、组织、管理和加工等软件的处理能力，需要从多元、复杂和巨量规模的数据集里洞察规律。
7、 2. 大数据的特征 符合大数据概念的数据一般具有数据规模大、处理速度快、数据类型多、价值密度低四个特征数据规模大、处理速度快、数据类型多、价值密度低四个特征，可以用四个 V 来概括，即数量（数量（V olume）、速度（速度（Velocity）、多样（多样（Variety）和价值（价值（Value） 3. 大数据思维 大数据思维主要包括：大数据要分析的往往是全体数据，而不再局限于抽样数据；对于数据不再追求精确性，而是能够接受数据的混杂性；不一定强调对事物因果关系的探求，而是更加注重它们的相关性。 4. 大数据价值 大数据蕴藏着巨大的价值，人们需要研究的是， 如何从庞杂的数据背后挖掘、 分析出
8、真正有用的信息。同时，相对于大数据的巨大体量，其价值密度往往较低大数据的巨大体量，其价值密度往往较低。 二、算法与程序设计二、算法与程序设计 本单元的内容结构如下：本单元以学科大概念“算法”为主题组织教学内容，在运用算法解决问题的过程中，需要在根据真实情境界定问题的基础上，按照“抽象与建模设计、描述算法算法的程序实现”这个路径去逐步实现。 本单元的内容结构如下： (一一)抽象与建模抽象与建模 1. 符号化数据：通过抽象，从复杂的现实世界问题中抽取出与解决问题有关的要素并符号化表示。 2. 建立计算模型：对要素加以确定或假设，定义出一个有明确已知条件和求解目标的问题，并用数学符号描述解决该问题的
9、计算模型。 (二二)设计、描述算法设计、描述算法 1.算法的概念 广义地讲,“算法”指的是解决问题或完成任务的一系列步骤。在计算机科学领域内，“算法”指的是用计算机解决问题的步骤，是为了解决问题而需要让计算机有序执行的、无歧义的、有限步骤的集合。 2. 算法的特征 有穷性有穷性：处理步骤必须是有限的。 可行性：可行性：每一步的操作与要求都是可行的，并且能在有限的时间内完成。 确定性确定性：每一步的执行描述必须是明确的。 有有 0 个或多个输入个或多个输入：算法被执行时，数据可以从外部获取，也可以包含在算法中。 有有 1 个或多个输出个或多个输出：算法必须有问题求解的结果，且至少包含一个输出。
10、3. 算法的要素 (1)数据：用算法解决问题时，必须明确参与运算的初始数据、运算时产生的中间数据以及问题解决的 结果数据。 (2)运算：在对数据进行运算时，必须明确每一步的运算是什么、对哪些数据进行运算等。 (3)控制转移：在算法执行过程中，有时需要根据数据或运算结果的特点进行不同的处理，需要运用控制转移来执行不同的操作。 4. 算法的描述：常见的算法描述方式有自然语言、流程图、伪代码、计算机程序设计语言等。 5. 算法的控制结构：算法的控制结构有顺序结构、分支结构和循环结构三种。 (三三)算法的程序实现算法的程序实现 1.编程环境 要让计算机按照预先设计的算法进行处理，需要将该算法用计算机程
11、序设计语言进行描述，形成计算机程序。通过运行程序，让计算机自动执行程序中的命令，并对结果进行检测分析和验证。 2. Python 语言基础 (1) 基本数据类型：Python 常见的基本数据类型有整型、实型、字符串型、布尔型。 (2) 基本运算符： 算术运算符算术运算符：*、* 、/、/、+ 、-。算术运算符有优先级顺序。 关系运算符关系运算符：、=、= = 、!= 、in，返回值为布尔型。 逻辑运算符逻辑运算符:not,and,or,返回值为布尔型。 (3)变量和赋值语句 变量： 程序设计时，有些数据是可变的，可以使用变量来存储。变量名可以包括字母、数字和下划线，字母区分大小写，但不能以数字
12、开头。在 Python 中，变量使用前不需要 * 预先声明变量的数据类型。 赋值语句： 赋值符号：= 。 赋值运算符：-= 、+= 、*= 、/= 、= 。 (4)基本数据结构 字符串和列表字符串和列表：字符串和列表都是由一些数据元素共同组成的一个序列整体。 字符串用单引号、双引号或三引号表示。 列表用方括号表示，列表中的元素用逗号“,”分隔。列表元素可添加、删除、修改。 定义 n 个元素组成的列表格式:List =元素 1,元素 2, ，元素 n。 字符串或列表中的元素，可以通过索引进行访问。 字典字典 字典中的每个元素由两部分内容组成:键和值。键通常用字符串或数值表示，值可以是任意类型。每
13、个键只能对应一个值。字典中的元素是没有顺序的，引用元素时以键为索引。 n 个“键:值”对组成的字典格式:dictionary = key1: value1, key2: value2, ，keyn：valuen)。 3.顺序结构的程序实现 (1) Python 中的注释 在 Python 中，“ # ”后面的内容为注释，注释主要用于对程序代码进行说明。注释在程序运行时不执行。 (2) Python 常见内建函数 print()函数默认以换行符作为其结束值。print(num, end = )中的 end = 将 print()函数的结束值设置为一个空格。 4. 分支结构的程序实现 在 Pyth
14、on 中，分支结构用 if 语句来实现。 (1) 单分支单分支 (2) 双分支双分支 (3) 多分支多分支 5. 循环结构的程序实现 在 Python 中，循环结构可以用 for 语句或 while 语句实现。 (1)、for 语句常见格式如下：语句常见格式如下： for 语句通过遍历序列中的元素实现循环，并通过序列的元素数量来控制循环次数。当序列中的元素为有序整数时，常可利用内建函数 range 来实现。range 函数由三个参 数(起始值、终值、步长值)来决定序列中元素的个数和范围。range 函数的参数必须为整数。若起始值缺省，则默认为 0。步长值是序列中元素之间的差，若缺省，则默认为
15、1。 例如 range(a,b,k),若 k 为正数，产生整数序列：a、a+k、a+2k、，最后一个数必须小于 b；若 k 为负数，产生整数序列：a、a+k、a+2k、.,最后一个数必须大于 b break 语句可用于在序列还没被完全遍历完或循环条件仍然为真的时候，实现强行退出循环。 (2)、while 语句常见格式如下：语句常见格式如下： while 语句在执行时，首先会判断条件是否为真，如果条件为真，执行一次循环体，再次判断条件是否为真，如果仍为真，那么再执行一次循环体，以此类推，直到条件为假时退出循环。 6.函数与模块 (1) 函数的构造 在 Python 中，定义函数的语法如下： 函数
16、名的命名规则与变量名一样。完成函数构造后，在程序中就可以根据需要调用该函数。 (2) 模块的导入与应用 在编写程序的时候，经常需要引入其他模块。Python 的各模块补充了许多功能强大的 函数，在使用import 语句或 from-import 语句将函数所在的模块导入后，就能使用其中的 函数。导入的语法如下： Python 常见的模块:math 模块 random 模块、Image 模块、numpy 模块和 matplotlib 模块等。 7.解析算法的程序实现 解析算法的基本思想是指根据问题的前提条件与所求结果之间的关系，找出求解问题的数学表达式，并通过表达式的计算来实现问题的求解。 在解
17、析算法的程序实现过程中， 首先要确保数学表达式的正确性，然后在程序中正确描述该数学表达式。 8.枚举算法的程序实现 枚举算法的基本思想是把问题所有可能的解一一列举，然后判断每一个列举出的可能解是否为正确的解。枚举算法程序实现的三个主要环节：枚举解、筛选解和输出解。其一般程序结构特点是循环包含分支结构语句，实现对枚举出的解进行判断与筛选。 三、数据处理与应用三、数据处理与应用 本单元的内容结构如下： (一一)、数据处理、数据处理 1.数据整理 (1)数据整理的目的 检测和修正错漏的数据、整合数据资源、规整数据格式、提高数据质量。 (2)常见的数据问题 数据缺失：数据缺失：最简单的处理方法是忽略含
18、有缺失值的实例或属性处理方法是忽略含有缺失值的实例或属性。还可以采用平均值、中间值或概率以采用平均值、中间值或概率 统计值来填充缺失值。统计值来填充缺失值。 数据重复：检测数据集中的重复数据可以从字段和记录两个方面着手，检查到重复数据，在审核后可进行合并或删除等处理。 数据异常：异常数据指数据集中有不符合一般规律的数据对象，它可能是要去掉的噪声，也可能是数据异常：异常数据指数据集中有不符合一般规律的数据对象，它可能是要去掉的噪声，也可能是含有重要信息的数据对象。含有重要信息的数据对象。 逻辑错误：数据集中的属性值与实际值不符，或违背业务规则，或不符合逻辑。 格式不一致：不同来源的数据可能存在格
19、式不一致的情况，可根据后续分析和挖掘的需要进行数据转换。 2.数据计算 常用的表格数据处理和统计分析工具有 Excel、 SPSS、 SAS、 MATLAB 等软件， 也可以通过 R、 Python、Java 等计算机语言编程进行数据处理。 使用 Excel 软件进行数据计算的一般方法：分析表格数据抽象计算模型计算分析计算结果，描述其含义。 3.数据分析 使用 Excel 软件创建图表的一般方法：分析表格数据选择图表类型创建图表检查图表，描述数据特征。 (二二)、大数据处理、大数据处理 1.大数据处理基本架构及思想 (1)大数据处理的分治思想分治思想 分治就是把一个复杂的问题分成两个或更多相同
20、或相似的子问题，找到求这几个子问题的解法后，再找出合适的方法把它们组合成求整个问题的解法。如果这些子问题还难以解决，可以再把它们分成几个更小的子问题，以此类推，直至可以直接求出解为止。 (2)大数据处理类型 静态数据：静态数据：在处理时已收集完成、在计算时不会发生改变的数据，一般采用批处理批处理计 算进行处理。 流数据；流数据；不间断地、持续地到达的实时数据，随着时间的流逝，流数据的价值也随之降低，可采用流计算流计算进行实时分析。 图数据：图数据：现实世界中的许多数据，如社交网络、道路交通等数据，可采用图计算图计算进行处理 (3)批处理计算 Hadoop 是一个可运行于大规模计算机集群上的分布
21、式系统基础架构，适用于静态数据的批处理计算。Hadoop 计算平台主要包括 Common 公共库公共库、分布式文件系统分布式文件系统 HDFS、分分 布式数据库布式数据库 HBase，分布式并行计算模型分布式并行计算模型 MapReduce 等多个模块。 分布式文件系统 HDFS：HDFS 将大规模数据以文件形式、用多个副本保存在不同 的存储节点中，并用分布式系统进行管理，HDFS 容错性高，适合部署在廉价的机器上， 分布式数据库 HBase：HBase 建立在 HDFS 提供的底层存储基础上，采用基于列的采用基于列的 存储方式，主要用来存储非结构化数据和半结构化数据。存储方式，主要用来存储非
22、结构化数据和半结构化数据。 结构化数据：结构化数据：简单来说就是数据库，指可以使指可以使 关系型数据库表关系型数据库表 和存储，表现为和存储，表现为 维形式的数据。维形式的数据。般特点是：数据以般特点是：数据以 为单位，为单位， 数据表数据表 个实体的信息，个实体的信息，每 数据的属性是相同的。结合到典型场景中更容易理解， 如企业 ERP、财务系统；医疗 HIS 数据库；教育 卡通；政府 政审批；其他核 数据库等。这些应 需要哪些存储 案呢？基本包括 速存储应 需求、数据备份需求、数据共享需求以及数据容灾需求。 结构化数据：结构化数据：包括视频、 频、图 、图像、 档、 本等形式。具体到典型案
23、例中，像是医疗影像系统、教育视频点播、视频监控、国 GIS、设计院、 件服务器（PDM/FTP）、媒体资源管理等具体应 ，这些 业对于存储需求包括数据存储、数据备份以及数据共享等。 半结构化数据：半结构化数据：包括邮件、HTML、报表、资源库等等，典型场景如邮件系统、WEB 集群、教学资源库、数据挖掘系统、档案系统等等。这些应 对于数据存储、数据备份、数据共享以及数据归档 等基本存储需求。 分布式并行计算模型 MapReduce；MapReduce 能够处理大规模数据集的并行运算， 主要由 Map(映射)和 Reduce(归纳)两个函数构成，其核心处理思想是将任务分解并分发到多个节点上进行处理
24、，最后汇总输出。 (4)流计算流计算 流计算系统可以简单、高效、可靠地实现实时数据的获取、传输和存储，在与数据库、Hadoop、编程语言等整合后可开发出功能强大的实时计算与分析应用。 (5)图计算图计算 现实世界中的很多数据是以图的形式呈现的，或者是可以转换为图以后再进行分析的，如社交网络、网络浏览与购买行为、传染病的传播路径等。 2.编程处理数据 利用 pandas 模块处理数据。 pandas 提供了 Series 和 DataFrame 两种数据结构。 (1)sene Series 是一种一维的数据结构， 包含一个数组的数据和一个与数据关联的索引(index)， 索引值默认是从0 起递增
25、的整数， 创建 Series 对象： 使用列表、 字典等创建 Series 对象。 Series 的索引可以指定、 如： s=pd.Serieg(1B6，178.180，index=sD1”.02，3)。 查看、选取 Series 对象中数据：通过 index，values 属性可以查看 Series 对象的索引和值：通过索引可以选取 Series 对象中的值。 修改 Series 对象中数据：通过赋值语句可以修改 Series 对象中的值，如：slo=158。 (2)DanaFrame DataFrame 是一种二维的数据结构， 由一个索引列(index)和若干个数据列组成， 每个数据列可以
26、是不同的类型。 创建 DataFrame 对象：使用一个相等长度的列表或字典创建 DataFrame 对象。 查看 DataFrame 对象： 查看行索引、列索引及数据：可以通过 index，columns，values 属性。 查看数据列：通过字典记法或属性检索 DataFrame 对象中的一列数据，如 dfid*或 df.id. 查看数据行：通过 head(n)，tail(n)返回 DataFrame 前 n 行、后 n 行的数据：通过索引查看指定的行数据， 如 df2： 5返回 df 对象中第 2、 3、 4 行数据； 通过布尔型数据选取满足条件的行， 如 dfdfage=18。使用 a
27、t方法可以根据行标签和列标签选取单个值，如 df.at0，”姓名”。 DataFrame 对象中行、列的编辑可使用 insert()、drop()、rename()、append()等函数。DataFrame 对象中数据的统计与计算可以使用 count()、sum()、mean()、max()、min()、describeC)、BrOupbyc)等函数。 DataFrame 对象中数据的排序：按索引排序可以使用按索引排序可以使用 sort_index()函数；按值排序可以使用函数；按值排序可以使用 sort_values()函数。函数。通过选项 axis=0/1 确定排序的轴向， axis 默
28、认值为 0，纵向排序。通过选项 ascending=True/False 确定升/降序， ascending 默认值为默认值为 True， 升序排序。， 升序排序。 排序结果返回一个新 DataFrame 对象。 3.处理文本数据 文本数据处理主要应用在搜索引擎、情报分析、自动摘要、自动校对、论文查重、文本分类、垃圾邮件过滤、机器翻译、自动应答等方面。 式 (1)文本处理过程 典型的文本处理过程主要包括分词、特征提取、数据分析、结果呈现等。 分词：将连续的字序列按照一定的规范重新组合成词序列的过程，即将一个汉字序列切分成一个一个单独的词。 特征提取：在中文文本分析中可以采用字、词或短语作为表示
29、文本的特征项。大多数中文文本分析中采用词作为特征项，这种词称为特征词。对于特征词数量较大的文本，通过特征提取来减少特征词的数量，提高文本处理的速度和效率。特征提取一般采用的方式为根据专家的知识挑选有价值的特征，或者用数学建模的方法构造评估函数自动选取特征等。(2)文本数据分析与应用 标签云：文本可视化的一种方式，用词频表现文本特征，将关键词按照一定的顺序和规律排列，如频率递减、字母顺序等，并以文字大小的形式代表词语的重要性。 文本情感分析；通过计算机技术对文本的主观性、观点、情绪、极性进行挖掘和分析，对文本的情感倾向做出分类判断。 4.数据可视化 数据可视化是指将数据以图形，图像等形式表示，直
30、接呈现数据中蕴含信息的处理过程。通过数据可视化能快捷观察与追踪数据、实时分析数据、增强数据的解释力与吸引力等。 (1)利用 matplotlib 模块绘图 matplotlib 是一个绘图库，使用其中的 pyplot 子库所提供的函数可以快速绘图和设置图表的坐标轴、坐标轴刻度、图例等。 (2)可视化的基本方法 有关时间趋势的可视化：展现随时间的推移而变化的数据，可以采用柱形图、折线图等。 有关比例的可视化：展现各部分的大小及其占总体比例关系的数据，可以采用饼图、环形图(也称面包圈图)等。 有关关系的可视化：探究具有关联性的数据的分布关系，可以使用散点图、气泡图等。 有关差异的可视化：探寻包含多
31、种变量的对象与同类之间的差异和联系，可以采用雷达图. 有关空间关系的可视化：地理数据或者基于地理数据的分析结果可以运用不同颜色或图表直接在地图上进行展示， (三三)、大数据典型应用、大数据典型应用 1.智能交通 交通数据采集：GPS、卡口、视频检测、浮动车、地感线圈等产生的交通流监测数据、视频监控数据、系统数据、服务数据等构筑了交通大数据。 智能交通主要通过交通信息服务、交通管理、公共交通、车辆控制、货运管理、电子收费、紧急救援等服务子系统为用户提供服务。 2.电子商务 电商数据来源：大型电商企业拥有大量用户数据，同时，在交易、营销、供应链、仓储、配送和售后等环节也产生了大量数据。 根据电商数
32、据，电商企业的数据平台为商户和客户提供精准营销、供应链管理、智能网站等多种数据服务。 四、人工智能及应用四、人工智能及应用 (一一)人工智能的本质人工智能的本质 1.人工智能的概念 人工智能是指以机器(计算机)为载体，模仿、延伸和扩展人类智能，其与人类或其他动物所呈现的生物 智能有着重要区别。 2.人工智能的主要方法 符号主义：符号主义：认为学习或者其他的智能特征原则上均可以被符号精确地描述，从而被 机器仿真。 联结主义：联结主义：通过模仿人类大脑中神经元之间的复杂交互来进行认知推理。 行为主义：行为主义：认为智能体可以在与环境的交互中不断学习，从而提升自己的智能水平。 3.人工智能的发展 (
33、1)从计算到智能测试：1950 年，图灵针对智能测试问题提出了测试机器是否具有智能的一种方法，即著名的“图灵测试” (2)人工智能登上历史舞台：1956 年，人工智能达特茅斯夏季研讨会在美国达特茅斯学院召开，标志着人工智能作为一门新兴学科正式诞生。 (3)以符号主义表达与推理为代表的人工智能：符号主义人工智能方法认为学习或者其他的智能特征原则上都可以被精确地描述。 (4)数据驱动的人工智能方法：深度学习能够让计算机从数据本身进行知识学习。 (5)问题引导下的人工智能学习方法：问题引导下的试错学习。 (二二)、人工智能的应用、人工智能的应用 1.领域人工智能：领域人工智能：领域人工智能是依赖于领
34、域知识和数据的人工智能。 2.跨领域人工智能：跨领域人工智能：跨领域人工智能指智能系统从一个领域快速跨越到另外一个领域。 3.混合增强智能：混合增强智能：混合增强智能是多种智能体多种智能体的混合形式， 它将人的作用或人的认知模型引人人工智能系统，形成“混合增强智能的形态。 (三三)、人工智能的影响、人工智能的影响 1.人工智能对社会的积极促进作用 (1)人工智能改善人类生活人工智能改善人类生活 人工智能技术正快速融人人们的生活，使得人们居家、出行、购物、医疗等日常活动越 来越便捷。例如智能家居、智慧城市、智能出行、智能购物等。 (2)人工智能促人工智能促进经济发展进经济发展 人工智能的发展可以为人类社会带来巨大的经济效益，通过人工智能技术提高生产力，创造全新的产品和服务，推动人工智能与实体经济结合，加快实体经济转型升级， 2.人工智能对人类社会秩序提出新的挑战 对劳动力市场产生了巨大的影响。 可能对人类安全造成一定威胁。