掘金数据处理平台1.2.2

掘金数据处理平台是一款强大且专业的数据处理工具，它具备高效的数据清洗、分析和可视化等多种功能，能极大提升工作效率。我特别喜欢它的数据清洗功能，以往处理杂乱的数据，手动操作不仅耗时还易出错。但有了这个功能，它可以快速识别并处理重复、错误、缺失的数据，让我能迅速得到干净、可用的数据，大大节省时间和精力，为后续数据分析打下良好基础。

注意：1.2 版本的数据收集器不能兼容以前版本的配置脚本。

具有很强的灵活性，胜任各种不同结构的网站的处理。 有任何使用中的问题请联系: 讨论群: 601169305 QQ: 2146651351 微信: AIChangeLife

使用方法:

1.先分析网站的网页结构，来配置抓取策略（有全面的流程说明，如不懂参考视频教程）。

2.运行脚本，执行数据处理工作。

3. Scrapy开发辅助支持，包括生成Scrapy代码段，将Scrapy Xpath路径直接输入Scrapy脚本。

4.HTTP请求日志 数据输出的方式包括:

1. 通过CSV文件输出 EXCEL等编辑软件 大部分数据库软件支持从CSV文件导入

2. 通过程序内置数据库(SQLITE)输出 SQLITEBrowser支持SQLITE数据库SQL语句查询： http://sqlitebrowser.org/ https://github.com/sqlitebrowser/sqlitebrowser/releases/download/v3.10.0/DB.Browser.for.SQLite-3.10.0-win32.exe 支持广泛，有很多选择

3．通过MYSQL数据库输出(通过官方的MYSQL安装包下载后，直接安装就可以)，数据使用 UTF-8的方式来保存。