网页数据采集的概念 网页数据采集，顾名思义，就是通过程序自动获取互联网上的网页内容，并将其保存为结构化的数据。这些数据可以包括文本、图片、视频等多种形式，可以用于各种用途，如市场调研、舆情分析、数据挖掘等。
网页数据采集是指通过网络爬虫技术，自动获取互联网上的网页数据。它可以帮助用户快速抓取各种数据，包括文字、图片、视频等多种格式的数据。
selenium是一个自动化测试工具，也可以用来模拟浏览器行为进行网页数据抓取。使用selenium库可以执行JavaScript代码、模拟点击按钮、填写表单等操作。
以下是使用Python编写爬虫获取网页数据的一般步骤： 安装Python和所需的第三方库。可以使用pip命令来安装第三方库，如pip install beautifulsoup4。 导入所需的库。例如，使用import语句导入BeautifulSoup库。
在开始抓取之前，需要对目标网站的结构进行分析。包括页面布局、元素定位等。这样可以更好地理解目标网站的数据结构，并为后续编写代码提供帮助。使用代理IP 当我们频繁访问某个网站时，很容易被该网站封禁IP地址。
1、非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML， HTML、各类报表、图像和音频/视频信息等等。
2、包含简单文本文件，图像，视频等的组合的异构数据源是非结构化数据的示例。半结构化数据 半结构化数据中同时具有结构化和非结构化数据。
3、结构化数据储存、非结构化数据储存、半结构化数据储存等。结构化数据储存：适用于存储具有明确结构和关系的数据，例如关系型数据库中的表格数据。
非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML， HTML、各类报表、图像和音频/视频信息等等。
包含简单文本文件，图像，视频等的组合的异构数据源是非结构化数据的示例。半结构化数据 半结构化数据中同时具有结构化和非结构化数据。
其次，半结构化数据是结构化数据的一种形式，它并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔语义元素以及对记录和字段进行分层。例如，XML、JSON、日志文件等都属于半结构化数据。
1、非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、XML， HTML、各类报表、图像和音频/视频信息等等。
2、结构化数据：能存储在数据库里的数据；非结构化数据：包括所有格式的办公文档、文本、图片、各类报表、图像和音频/视频信息等等。
3、我们可以看到半结构化数据是形式化的结构，但实际上它不是在关系DBMS中用表定义来定义的。Web应用程序数据是半结构化数据的示例。它具有非结构化数据，例如日志文件，事务历史记录文件等。
4、非结构化数据则是指没有预定义的数据模型，其数据结构不规则或不完整，不方便用数据库二维逻辑表来表现的数据。
5、基本包括高速存储应用需求、数据备份需求、数据共享需求以及数据容灾需求。
6、结构化数据和非结构化数据的区别：定义不同、来源不同、形式不同、模型不同、存储不同。
结构化数据主要包括以下内容： 数据类型：包括数字、文本、图像、音频、视频等。 数据属性：包括数据的名称、属性、值、单位、符号、颜色、尺寸等。 数据关系：包括数据的归属关系、时间关系、逻辑关系等。
结构化数据 结构化数据，简单来说就是数据库。结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；教育一卡通；政府行政审批；其他核心数据库等。
半结构化数据 半结构化数据中同时具有结构化和非结构化数据。我们可以看到半结构化数据是形式化的结构，但实际上它不是在关系DBMS中用表定义来定义的。Web应用程序数据是半结构化数据的示例。
（1）结构化数据，简单来说就是数据库。结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；政府行政审批；其他核心数据库等。
半结构化数据具有一定的结构性，是一种适于数据库集成的数据模型。也就是说，适于描述包含在两个或多个数据库（这些数据库含有不同模式的相似数据）中的数据。它也是一种标记服务的基础模型，用于Web上共享信息。
特点如下：数据结构化 ，数据之间具有联系，面向整个系统。数据的共享性高，冗余度低，易扩充 。数据库系统从整体角度描述数据，数据不再面向某个应用而是面向整个系统，因此数据可以被多个用户、多个应用共享使用。
