Big Data архитектуры для игровых платформ

iGaming генерирует миллиарды событий/день. Правильная архитектура данных — foundation для аналитики, ML и compliance.

Lambda vs Kappa

Lambda: две pipeline — batch (accuracy) + speed (latency). Больше complexity, dual code. Kappa: единая streaming pipeline, historical replay через event storage. Modern: Kappa preferred для simplicity. Все больше платформ на event-driven архитектуре.

Компоненты

Ingestion: Kafka, Kinesis. Storage: S3/GCS data lake, Delta Lake/Iceberg. Processing: Spark, Flink, Beam. Warehouse: Snowflake, BigQuery, Redshift. Real-time: Redis, ClickHouse. Governance: DataHub, Amundsen. Каждая часть имеет open-source и managed альтернативы.

Lakehouse

Databricks Lakehouse: unified data lake + warehouse. Иerarchical namespaces: raw / silver / gold. ACID transactions на data lake через Delta Lake, Apache Iceberg, Apache Hudi. Cost effective vs traditional warehouse для больших volumes.

Compliance-специфика

Data retention: 5–10 years для licensed operators. Immutable audit trails: blockchain-like для регуляторных данных. GDPR: right to erasure — implementation в data lake через partition delete или copy-on-write. Data lineage tracking обязателен.