taobao-data-analysis

淘宝用户行为数据分析项目

项目概述

本项目是一个基于真实淘宝用户行为数据的分析与可视化大屏项目，旨在通过数据分析和可视化展示，帮助理解用户行为模式、优化营销策略、提高转化率。项目采用了完整的数据处理流程，从大规模数据下载到最终的可视化展示。

项目结构

项目/
├── data/                  # 数据目录
│   ├── data.json          # 原始用户行为数据（JSON格式）
│   ├── user_behavior.csv  # 原始用户行为数据（CSV格式）
│   └── stats.json         # 分析生成的统计结果
├── scripts/               # 脚本目录
│   ├── analyze_real_data.py      # 分析真实数据并生成统计结果
│   └── run_analysis.py           # 运行分析的主脚本
├── sql/                   # SQL查询目录
│   └── create_table.sql   # 创建数据库表结构
├── 数据处理/              # 数据处理脚本目录
│   ├── process_data.bat        # Windows批处理脚本
│   ├── process_data.ps1        # PowerShell脚本
│   ├── process_data.py         # 数据处理主脚本
│   ├── process_data_final.py   # 最终版数据处理脚本
│   ├── process_data_simple.py  # 简化版数据处理脚本
│   ├── simple_process.py       # 简单处理脚本
│   └── timestamp_to_date.py    # 时间戳转换脚本
├── dashboard.html         # 可视化大屏主文件
├── project_flowchart.md   # 项目流程图
├── PROJECT_SUMMARY.md     # 项目总结
└── README.md              # 项目说明文档

环境要求

Python 3.6+：用于数据处理和分析
MySQL 5.7+：用于大规模数据存储和查询
浏览器：支持HTML5和JavaScript的现代浏览器（如Chrome、Firefox、Edge）
Python库：
- json
- csv
- mysql-connector-python（可选，用于数据库操作）

安装与设置

1. 克隆项目

# 克隆项目到本地
git clone <项目仓库地址>
cd <项目目录>

2. 安装依赖

# 安装MySQL连接器（可选）
pip install mysql-connector-python

3. 数据库设置

# 创建数据库和表结构
mysql -u root -p < sql/create_table.sql

使用方法

1. 数据处理

方法一：使用数据处理脚本

# 运行数据处理脚本
python 数据处理/process_data.py

# 或使用其他处理脚本
python 数据处理/process_data_final.py

方法二：手动处理数据

从网页下载原始数据
使用 数据处理/timestamp_to_date.py 转换时间格式
生成 data/user_behavior.csv 文件

2. 导入数据到MySQL

# 使用MySQL命令行导入数据
LOAD DATA INFILE 'C:/Users/Administrator/Desktop/项目/data/user_behavior.csv'
INTO TABLE user_behavior
FIELDS TERMINATED BY ','
LINES TERMINATED BY '\n'
IGNORE 1 ROWS
(user_id, item_id, category_id, behavior_type, behavior_time);

3. 运行数据分析

# 运行分析脚本
python scripts/run_analysis.py

# 或直接运行分析脚本
python scripts/analyze_real_data.py

4. 查看可视化大屏

直接在浏览器中打开 dashboard.html 文件：

file:///C:/Users/Administrator/Desktop/项目/dashboard.html

数据说明

数据来源：真实淘宝用户行为数据（通过网页下载）
数据规模：5万条用户行为记录
数据字段：
- user_id：用户ID
- item_id：商品ID
- category_id：品类ID
- behavior_type：行为类型（pv=浏览, fav=收藏, cart=加购, buy=购买）
- behavior_time：行为时间

核心功能

1. 数据处理与分析

数据清洗：处理数据格式和异常值
统计分析：计算用户行为分布、时间趋势等指标
高级分析：RFM用户分层、购买路径分析等

2. 可视化大屏

数据总览：展示总用户数、总行为数、转化率等关键指标
用户行为分析：行为类型分布、转化漏斗、用户分层
时间趋势分析：24小时行为趋势、每日行为趋势、周内行为趋势
商品分析：热门商品、热门品类、转化率
业务洞察：基于数据的运营建议和策略

技术栈

后端：Python 3.x
前端：HTML5, CSS3, JavaScript
数据可视化：ECharts 5.4.3
数据处理：Python标准库（json, csv）
数据库：MySQL（用于大规模数据处理和分析）

项目亮点

完整数据流程：从大规模数据下载、处理、存储到分析和可视化的完整流程
真实数据：使用真实的淘宝用户行为数据进行分析
多维度分析：从用户、时间、商品等多个维度进行分析
数据库优化：利用MySQL进行大规模数据处理和分析
美观界面：深色科技风设计，视觉效果出色
响应式布局：适配不同屏幕尺寸
丰富的数据处理脚本：提供多种数据处理方案，满足不同需求

未来扩展

数据规模扩展：处理更大规模的用户行为数据
实时数据：接入实时用户行为数据
机器学习：使用机器学习算法进行用户行为预测
多渠道数据：整合多渠道数据进行分析
API接口：提供数据分析API接口
自动化部署：实现全流程自动化部署和更新

许可证

本项目采用 MIT 许可证。详见 LICENSE 文件。

联系方式

如有问题或建议，请联系项目维护者。

项目版本：1.0.0 最后更新：2026-04-13