一、大數據概述

大數據（Big Data）是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，具有4V特征：

1. Volume（大量）：數據體量巨大，從TB級別躍升到PB乃至ZB級別。
2. Velocity（高速）：數據生成和處理速度快，要求實時或近實時分析。
3. Variety（多樣）：數據類型繁多，包括結構化、半結構化和非結構化數據。
4. Value（低價值密度）：數據價值密度相對較低，需通過挖掘分析提煉高價值信息。

二、主流大數據框架

大數據框架是處理海量數據的軟件庫和工具的集合，旨在解決存儲、計算和分析的難題。

1. Hadoop生態系統

• HDFS（Hadoop Distributed File System）：分布式文件系統，提供高吞吐量的數據訪問，是Hadoop的存儲基石。
• MapReduce：分布式計算編程模型，將任務分解為Map（映射）和Reduce（歸約）兩個階段，適合批處理。
• YARN（Yet Another Resource Negotiator）：資源管理和作業調度框架，允許多個數據處理引擎（如Spark）在Hadoop集群上運行。
• Hive：基于Hadoop的數據倉庫工具，提供類SQL查詢（HiveQL），將查詢轉換為MapReduce任務。
• HBase：分布式、可擴展的NoSQL數據庫，適合實時讀寫大數據集。

2. Spark

• 一個快速、通用的集群計算系統，相比MapReduce，通過內存計算顯著提升迭代和交互式查詢速度。
• 核心抽象是RDD（Resilient Distributed Dataset），提供Spark SQL、Spark Streaming、MLlib（機器學習庫）和GraphX（圖計算）等組件。

3. Flink

• 一個流處理和批處理的開源框架，以流處理為核心，將批處理視為有界流。
• 提供高吞吐、低延遲、Exactly-Once語義的流處理能力，適合實時分析場景。

三、數據挖掘及分析

數據挖掘是從大量數據中提取未知的、有價值的模式和知識的過程，是大數據分析的核心。

1. 數據挖掘主要任務

• 分類（Classification）：預測離散類別標簽，如判斷郵件是否為垃圾郵件。
• 聚類（Clustering）：將數據分組為相似對象的集合，如客戶細分。
• 關聯規則學習（Association Rule Learning）：發現變量間有趣的關系，如購物籃分析（啤酒與尿布）。
• 回歸（Regression）：預測連續數值，如房價預測。
• 異常檢測（Anomaly Detection）：識別異常數據點，如信用卡欺詐檢測。

2. 數據分析流程（CRISP-DM）

1. 業務理解：明確分析目標和需求。
2. 數據理解：收集、探索和描述數據。
3. 數據準備：清洗、轉換和集成數據，構建分析數據集。
4. 建模：選擇和應用數據挖掘算法。
5. 評估：評估模型是否滿足業務目標。
6. 部署：將分析結果應用于實際業務。

3. 常用工具與技術

• 編程語言：Python（Pandas, Scikit-learn）、R、Scala。
• 數據處理：SQL、Pandas、Spark SQL。
• 機器學習庫：Scikit-learn、MLlib（Spark）、TensorFlow/PyTorch（深度學習）。
• 可視化：Matplotlib、Seaborn、Tableau。

四、與展望

Day01的學習聚焦于大數據的基礎框架和核心分析概念。理解Hadoop、Spark等框架的定位與特點，是構建大數據處理能力的基礎。數據挖掘作為從數據中提取價值的引擎，其任務和流程為后續的深入實踐提供了方法論指導。后續學習將深入各框架的實戰應用與具體算法的實現。

關鍵要點回顧：
- 大數據4V特征是理解其挑戰的出發點。
- Hadoop適合大規模批處理，Spark以內存計算見長，Flink專精流處理。
- 數據挖掘通過分類、聚類等任務將數據轉化為洞察。
- 分析流程（如CRISP-DM）確保項目有序、有效地進行。