1、 1 数据与信息数据与信息 一、一、数据、信息与知识数据、信息与知识 1. 数据数据 数据是对客观事物的符号表示，单纯的数据是没有意义的 数据的表现形式包括文字、图形、图像、音频和视频等，数字是最简单的表现形式 数据的载体是实物，包括书本等 2. 信息信息 信息是用来消除随机不确定性的东西 特征： （1）载体依附性：信息的表示、传播、存储必须依附于载体，而不是信息表示的事物。 （2）时效性：信息反映的是某一特定时间内的状态，它会随时间的推移而变化。 （3）共享性：信息是可以传递和共享的，可以被重复使用而不会产生损耗。 （4）可加工处理性、真伪性：信息是可以加工和处理的。信息有真实信息和虚假信息
2、之分。 （5）价值性：信息的价值是相对的，包含显性价值和隐性价值。 3. 知识知识 知识是人类在社会实践中获得的认识和经验的总和，也是人类在实践中认识客观世界的成果。 知识是可以积累和传承的。 4. 智慧：全世界只有少部分人具有智慧智慧：全世界只有少部分人具有智慧 高科技（航天、人工智能等）、对未来的预测、创造 5. 数据、信息与知识关系数据、信息与知识关系 信息是数据经过储存、分析及解释后所产生的意义，信息的载体是数据 通过归纳、演绎、比较等手段对信息进行挖掘，形成知识 举例： 数据：37.5；信息：小明的体温是 37.5 摄氏度；知识：正常人的体温在 36.5-37.5 之间 二、二、数据
3、采集编码数据采集编码 1. 数据采集数据采集 采集自然界数据：传感器（一般由敏感元件、转换元件、其他辅助元件组成） 采集网络数据：网络爬虫 2 2. 进制转换进制转换 （1）数据在计算机内部是以二进制方式进行存储和处理的。 （2）常用的数制有：二进制(B)、十进制(D)、十六进制(H)。 （3）各进制之间的转换规则如下： 二进制十进制 按权展开相加法 例如：1001B1*230*220*211*209D 十六进制十进制 按权展开相加法 例如：3BH3*16111*16059D 十进制二进制 除 2 取余倒序法 例如：29D11101B(算式如下图所示) 十进制十六进制 除 16 取余倒序法 例
4、如：49D31H 二进制十六进制 8421 分组转换法 例如：A9H10101001B(从低位开始，以四位为一组) 3. 存储容量单位存储容量单位 最小的存储容量单位：比特（bit）(b) 基本的存储容量单位：字节（Byte）(B) 1B=8b 1KB=1024B 1MB=1024KB 1GB=1024MB 4. 数字化数字化 （1）模拟信号和数字信号 模拟信号是连续的 数字信号是二进制，是离散的，不连续的 将模拟信号转换为数字信号的过程称为数字化。 声音信号通过传感器（麦克风）转化为模拟信号，模拟信号通过 ADC 模数转换器（声卡）转化为数字信号 （2）数字化过程 3 采样：每隔一段时间采集
5、样本，对横坐标时间轴划分 量化：将采集到的样本变为数值，对纵坐标划分 编码： 编码是信息从一种形式按照某种规则或格式转换为另一种形式的过程。解码是编码的逆过程。 常见的字符编码有 ASCII、Unicode 及各种汉字编码。 ASCII 码(美国信息交换标准码) 基本的 ASCII 码共有 128 个对应的十六进制范围是 007F，占 1 个字节。 A：41H 65D a：61H 97D 0：30H 空格：20H 10：3130H 汉字编码 汉字编码分为外码、交换码、机内码和字形码。 外码又叫输入码，包括拼音码、五笔字形码等（不唯一） 交换码包括 ASCII 码、GB2312 码（十六进制）
6、不同的字符集有不同的表示方式，GB2312 采用 2 个字节表示一个汉字。 例题： 用 UltraEdit 软件查看“2021 高三加油！”的字符内码，部分界面如图所示。 下列说法正确的是( ) A.存储上述字符需要 15 个 Byte B.字符在计算机内部的编码为 16 进制 C.2的 ASCII 编码为 32H，则可以推算出字符10的编码为 3AH D.字符！的编码为 A1H 机内码也称为内码，是二进制（唯一） 字形码（不唯一） 如图 16*16 字形码，一个像素用一位二进制表示，大小为 1b 4 第二个字节用二进制表示为 00000100B 条形码 我国普遍采用的 EAN13 条形码。每
7、个编码都有意义 声音文件存储容量：采样频率（Hz）*量化位数（位）*声道数*时长（秒） 注意注意：立体声为 2 个声道；44.1kHz 为 44.1*1000Hz 图像文件存储容量：总像素*位深度（位） 注意：128 级灰度是 7 位；256 色是 8 位；RGB/8 是 24 位 视频文件存储容量： 总像素*位深度*帧数 总像素*位深度*帧频（fps）*时长 PAL 制式：25fps；NTSC 制式：30fps 三、三、数据管理与安全数据管理与安全 1. 数据管理数据管理 (1)在大数据出现之前，计算机数据的管理已经经历了人工管理、文件管理和数据库管理三个阶段。Excel 属于文件管理 (2
8、)在计算机中，数据一般以文件的形式存储。 (3)传统数据库技术基于结构化数据进行开发，凭借其数据独立性、数据可共享等特点，已经成为现代社会数据管理的主要方式。数据库在安全性、易使用、可靠性等方面都取得了令人瞩目的成绩。 （4）文件后缀名 音频文件：.wav（无压缩） .mp3 .wma 视频文件：.avi（无压缩） .mp4 .wmv .mpg 图像文件：.bmp（无压缩） .jpg .gif .png 文本文档：.txt 网页文件：.html 办公文档：.docx .xlsx .ppt 2. 数据安全数据安全 (1)威胁数据安全的因素有很多，如存储介质损坏、操作失误、黑客入侵、计算机病毒、遭
9、受自然灾害等，从而造成计算机数据被破坏。 (2)通过保护存储数据的介质：磁盘阵列、异地容灾、数据备份 (3)提高数据本身的安全：数据加密（保密性）、数据校验（完整性）。 5 四、四、数据与大数据数据与大数据 1. 大数据的四个特征大数据的四个特征 (1)数据体量巨大。(2)数据类型多。(3)价值密度低。 (4)速度快。速度快不仅是指数据产生的速度快，还指数据处理速度快。 2. 大数据思维大数据思维 (1) 大数据采用全体数据分析，而不是抽样数据。大数据时代仍旧存在抽样数据 (2) 大数据不再追求数据的精确性，能够接受数据的混杂性。 (3)不一定强调事物之间的因果关系，更加注重它们的相关性。 数
10、据的处理和应用数据的处理和应用 一、一、数据整理数据整理 （1）数据缺失：最简单（忽略缺失值）；常见（平均值、中间值、概率统计值） （2）数据重复：分析后合并或删除 （3）异常数据：可能是没用的噪声，也可能是重要数据 （4）逻辑错误：属性值和实际值不符 （5）数据格式不同：数据转换 二、二、Excel 1. 公式及函数公式及函数 （1）公式必须以”=”开头 （2）公式及函数 SUM(a1,a2,an) 求和 AVERAGE（a1,a2,an） 求平均数 MIN（a1,a2,an） 求最小值 MAX（a1,a2,an） 求最大值 单元格引用 例：在 E2 单元格输入：=（C2-B2）/$A2+D
11、$2，复制公式到 G4 单元格，公式变为： =（E4-D4）/$A4+F$2 （4）常见错误提示 6 2. 排序（升序、降序）排序（升序、降序） 选择区域：选全部列如果关键字是列 A 列 B 等，不选标题避开合并单元格 3. 筛选筛选 文本筛选：通配符（？表示任意一个字符。*表示任意多个字符）、包含、结尾是、开头是 数字筛选：大于、小于、介于、自动筛选前 10 个（10/9/11/个最大/最小的值） 筛选最大前三项，筛选出的记录可能超过 3 项，并列项也会筛选出来 多条件筛选：选出女生中成绩最好的三个，需要筛选女生，排序选前三个，顺序可反 4. 图表图表 （1）数据标签：设置图表上对应的各系列
12、数据是否显示数值 （2）选定数据区域解题方法 根据图 2 中的 X 轴，确定数据区域 A6:A9 根据图 2 的图例，确定数据区域 C2:D2（如果图例是“系列 1，系列 2”，则不包括 C2:D2） 根据图 2 图表上对应的各系列的数据，确定数据区域 C2:D9 7 通过对称（高平齐、长对正）确定数据区域 A2 总区域为 A2，A6:A9，C2:D2，C2:D9 （3）图表影响因素 图表会发生变化：图表相关单元格数据发生变化图表中的数据参加排序、筛选 图表不会发生变化：修改单元格格式（特别是小数位数） 三、三、大数据处理的基本思想和架构大数据处理的基本思想和架构 分治思想：一个大问题分成多个
13、小问题 1. 静态数据：批处理计算静态数据：批处理计算 举例：3 年内学生的高考成绩 Hadoop 架构： HDFS：分布式文件系统 将大规模数据以文件的形式保存，适合部署在廉价的机器上。 应用：云盘、网盘的底层 Hbase：分布式数据库 建立在 HDFS 建立的基础上，采用基于列的存储方式，是谷歌 BigTable 的开源实现 Hbase：分布式数据库 MapReduce：分布式并行计算模型 2. 流数据：流计算流数据：流计算 举例：交通路况的实时更新 软件：Twitter 3. 图数据：图计算图数据：图计算 举例：社交网络、传染病的传播路径等 4. 实时处理实时处理+批处理批处理 软件：S
14、ummingBird 好处：缩短切换时间、减少系统开销、降低使用成本 四、四、Pandas 1. 常用模块常用模块 Numpy 模块：Python 中做科学计算的基础库； Scipy 模块：增强了在高等数学、信号处理、图像处理、统计等方面的处理能力； 8 Pandas 模块：主要用于数据的处理和分析。 2. 导入：导入：import pandas as pd 3. 数据结构：数据结构：Series（一维数组：一列索引一列值）（一维数组：一列索引一列值） 属性：index(索引)、values(值) 将 178 改成 188：s2s02=188 或 s21=188 4. 数据结构：数据结构：Da
15、taFrame（二维数组：一列索引多列值）（二维数组：一列索引多列值） （1）属性：index(索引)、values(值)、columns(列标题) （2）获取数值 获取第二行数据：df11：2 获取性别列数据：df1性别或 df1.性别 获取性别列第二行的数据：df1.at1,性别或 df1性别1 筛选性别为女的数据：df1df1性别=女 （3）函数：见函数表 五、五、Matplotlib 模块绘图模块绘图 1. 导入：import matplotlib.pyplot as plt 2. 函数：见函数表 六、六、文本数据处理文本数据处理 1. 典型的文本处理过程主要包括分词、特征提取、数据分
16、析、结果呈现等。 2. 中文中文分词分词 方法：基于词典的分词（jieba）、基于统计的分词（上下文）、基于规则的分词（试验）。 9 3. 特征提取特征提取 特征词：在中文文本分析中可以采用字、词或短语作为表示文本的特征项。大多数中文文本分析中采用词作为特征项。 特征提取目的：减少特征词的数量。 方式： 根据专家的知识挑选有价值的特征； 用数学建模构造评估函数自动选取特征 （大多） 。 4. 文本数据分析与应用文本数据分析与应用 标签云：用词频表现文本特征，以文字大小的形式代表词语的重要性。 文本情感分析：主要运用于网络舆情监控、用户评论分析与决策、信息预测等。 七、七、数据可视化数据可视化
17、1概念：指将数据以图形、图像等形式表示。 2可视化的基本方法可视化的基本方法 有关时间趋势的可视化：采用柱形图、折线图等。 有关比例的可视化：采用饼图、环形图(也称面包圈图)等。 有关关系的可视化：探究具有关联性数据的分布关系，可以使用散点图、气泡图等。 有关差异的可视化：探寻包含多种变量的对象与同类之间的差异和联系，采用雷达图。 有关空间关系的可视化：运用不同颜色或图表直接在地图上进行展示。 算法和算法和 Python 一、一、算法算法 1. 算法的概念算法的概念 “算法”指的是解决问题或完成任务的一系列步骤，例如做饭的步骤。 2. 算法的特征算法的特征 有穷性；可行性；确定性；有 0 个或
18、多个输入；有 1 个或多个输出。 3. 算法的要素算法的要素 (1)数据：值，可以是整数、实数、字符串、布尔值等等。 (2)运算：对值进行处理计算。 (3)控制转移：顺序结构、分支结构、循环结构。 10 4. 算法的描述算法的描述 （1）自然语言 第一步：输入变量 flag 的值 第二步：若 flag 的值为 1，则输出空车位；否则输出非空车位 （2）流程图 （2）伪代码 （3）计算机程序语言 输入变量 flag 的值 flag=input() if flag = 1: if flag = 1: 输出空车位 print(空车位) else: else: 输出非空车位 print(非空车位) 5
19、. 算法的基本结构算法的基本结构 （1）顺序结构（2）分支结构（选择结构，不能是树形结构）（3）循环结构 6. 用算法解决问题的过程用算法解决问题的过程 (1)抽象与建模 (2)设计算法（输入-处理-输出）(3)描述算法 二、二、Python 1. 运算符运算符 *：幂次方（最优先） /：整除，取小 a%b：取余（a-a/b*b） 大于等于：= 小于等于：= 等于：= 不等于：!= T and F : F T or F：T （先算 and 再算 or） 2. 列表：列表： a3：9：2：从 3 开始，到 8 结束，步长为 2（3，5，7） 从第二个取到尾：a1; 11 3. 函数：见函数表函数
20、：见函数表 4. 分支结构：分支结构：if elif else 5. 循环结构：循环结构： for 循环： for i in range(n)： i 取不到 n 循环体 else： 当程序自动退出循环，继续执行 else 子句中的语句块（while 一样） 语句块 将列表 a 从头取到尾 for i in range(len(a)： break：彻底退出循环 continue：退出这一轮循环，继续下一轮循环 解析算法：找出求解问题的数学表达式，实现问题的求解 枚举算法：把问题所有可能的解一一列举，然后判断每一个列举出的可能解是否为正 人工智能及应用人工智能及应用 一、一、人工智能的产生和发展人
21、工智能的产生和发展 1. 人工智能的定义人工智能的定义 以机器(计算机)作为载体，模仿、延伸和扩展人类智能，其与人类或其他动物所呈现的生物智能有着重要区别。人工智能是一门多学科交叉的前沿学科 2. 人工智能的三种方法人工智能的三种方法 (1) 符号主义 又称逻辑学派、心理学派或计算机学派 认为学习或者其他智能特征原则上均可以被符号精确地描述， 从而被机器仿真。 但 “微笑” 、“仁义”等难以被描述 包含知识库和推理引擎两个部分 优缺点：解释性强，但其可拓展性较弱 应用：三段论推理、专家系统 (2) 联结主义 又称仿生学派或生理学派 12 通过模仿人类大脑中神经元之间的复杂交互来进行认知推理。
22、应用：深度学习（Alpha 狗）、人工神经网络 (3) 行为主义 又称进化主义或控制论学派 认为智能体可以在与环境的交互中不断学习，从而提升自己的智能水平。 应用：强化学习、扫地机器人 3. 人工智能的发展历程人工智能的发展历程 (1)从计算到智能测试 20 世纪 30 年代，三种计算机制：原始递归函数、lambda 演算和图灵机被提出，三者等效 图灵机为现代计算机的理论模型，图灵被称为现代计算机理论之父。 1950 年，为了测试机器是否具有智能，图灵提出了著名的“图灵测试”。 (2)人工智能登上历史舞台 1955 年，四位学者在一份名为“人工智能达特茅斯夏季研讨会”的项目申请书中首次提出“人
23、工智能”这一术语。 1956 年， 研讨会在美国达特茅斯学院如期召开， 标志着人工智能作为一门新兴学科正式诞生。 二、二、人工智能的应用及对社会的影响人工智能的应用及对社会的影响 1. 人工智能的应用人工智能的应用 (1) 领域人工智能 依赖于领域知识和数据的人工智能。如超级计算机“深蓝”、“沃森”和智慧交通领域的人工智能系统。 (2) 跨领域人工智能 指智能系统从一个领域快速跨越到另外一个领域。如 AlphaGo 从围棋人工智能领域应用跨界到电力控制领域。 (3)混合增强智能：人机协同。如达芬奇外科手术机器人等需要人和机器共同参加的混合智能应用。 2. 生活中的人工智能生活中的人工智能 机器人 各种识别（语音识别、图像识别、视频识别等等）