本文探讨了网页相似度的分析方法，主要包括网页DOM结构、内容文本及引用资源的构成与提取，涉及数据存储、检索及展示策略，特别关注大规模数据处理与界面设计。
网页主要由网页DOM结构、网页内容文本、网页引用资源三部分构成，通过分析这三部分，来发现相同网页或相似网页。
（1）网页DOM结构：标签种类、标签数量；
（2）网页内容文本：网页元数据、标题、长文本、短文本、主题词、前50个词频；
（3）网页引用资源：外连样式、外连脚本、图片、文档。
主要研究的对象包含，分析方法包括数据提取、内容比对、数据存储、数据检索，具体提问为：
1、以上三部分具体🈶️哪些模块构成，针对这三部分，如何提取网页中各个对象数据？
2、对于提取的数据，该如何存储，而且适合快速分析，特别是大规模存储，该使用什么方法？
3、分析的方法具体有哪些，哪种性能更好，大规模使用更合适？
4、界面该展示哪些数据，具体又该如何展示？
5、主要分析的流程和步骤有哪些？是否能抽离为通用的对象？
基于网页颜色的相似度对比，提取网页的内嵌样式中的颜色词，特别是body、div标签中的样式名称，找到其所对应的css，提取颜色标签，根据body中div区块计算其所在的比例。例如body：100%，div1: 20%、div2: 60%、div3:20%等
扫一扫
641
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
