1. 数据工程人命周期

1.1. 数据范畴正在履历新数据期间和实际的爆炸式增长，玄虚程度和易用性不休晋升

1.2. 由于期间玄虚程度的增多，数据工程师将越来越多地成为数据人命周期工程师，凭据数据人命周期照拂的原则来进行想考和操作

1.3. 数据工程人命周期包括将原始数据因素鼎新为灵验的最终家具的阶段，可供分析师、数据科学家、机器学习工程师和其他东谈主使用

1.4. 五个阶段

1.4.1. 生成1.4.2. 存储1.4.3. 获取1.4.4. 转化1.4.5. 中间阶段1.4.5.1. 可能会有点错杂1.4.6. 工作1.4.7. 人命周期的各个阶段可能会以真义真义和出东谈主猜想的容貌重复、无序、访佛或交汇在一皆

1.5. 四肢基石的是横跨数据工程人命周期多阶段的底层瞎想

1.5.1. 安全1.5.2. 数据照拂1.5.3. DataOps1.5.4. 数据架构1.5.5. 编排和软件工程1.5.6. 莫得这些底层瞎想，数据工程人命周期的任何部分都无法充分发扬作用

2. 数据人命周期

2.1. 数据工程人命周期是齐全数据人命周期的一个子集

2.2. 齐全的数据人命周期涵盖整个这个词人命周期中的数据，而数据工程人命周期则侧重于数据工程师抑制的阶段

3. 生成：源系统

3.1. 源系统是数据工程人命周期中使用的数据的开端

3.1.1. IoT开采3.1.2. 应用要领的音尘部队3.1.3. 事务数据库

3.2. 数据工程师需要对源系统的责任容貌、它们生成数据的容貌、数据的频率和速率以及它们生成的数据的种种性有一个责任上的透露

3.2.1. 还需要与源系统整个者保执盛开的交流渠谈，了解可能阻挠管谈和分析的转换

3.3. 数据工程的一个主要挑战是工程师必须处理和透露令东谈主眼花头昏的数据源阵列

3.4. 跟着软件开发实际的种种当代演变，应用要领+数据库时势在今天仍然很流行

3.5. 源系统评估问题

3.5.1. 数据源的实质特征是什么？3.5.1.1. 它是一个应用要领，依然一个物联网开采集群？3.5.2. 数据怎么执久化在源系统中？3.5.2.1. 数据是永久保存的，依然临时的并被速即删除？3.5.3. 数据生成的速率是若干？3.5.3.1. 每秒有若职业件？3.5.3.2. 每小时有若干数据量？3.5.4. 从输出数据中盼望什么程度的一致性？3.5.4.1. 若是你对输出数据进行数据质料查验，数据不一致（数据空值、糟糕的体式等）的发生频率是若干？3.5.5. 谬妄发生的频率怎么？3.5.6. 数据会包含重复项吗？3.5.7. 某些数据是否会延伸到达，是否会比同期生成的其他音尘晚许多？3.5.8. 获取数据的时势是什么？3.5.8.1. 是否需要跨多个表以致多个系统进行连结才调赢得数据的全貌？3.5.9. 若是数据结构发生变化（举例，添加了一个新列），若那儿理并传达给下流利益联系者？3.5.10. 应该多久从源系统中索求一次数据？3.5.11. 数据是否以依期快照或变更数据拿获(Change Data Capture，CDC)的更新事件提供？3.5.11.1. 实施转换的逻辑是什么？3.5.11.2. 如安在源数据库中追踪这些转换？3.5.12. 将为下流消耗传输数据的数据提供者是谁/什么？3.5.13. 从数据源读取会影响其性能吗？3.5.14. 源系统是否有上游数据依赖？3.5.14.1. 上游系统的特色是什么？3.5.15. 是否进行了查验延伸或丢失的数据的质料查验？

3.6. 数据源产生的数据供下流系统消耗，包括东谈主工生成的电子表格、物联网传感器以及鸠集和出动应用要领

3.6.1. 每个开端都有其特有的数据生成量和节拍3.6.2. 数据工程师应该知谈开端怎么生成数据，包括联系的怪癖或渺小辨认

3.7. 源数据最具挑战性的渺小辨认之一是时势

3.7.1. 无时势3.7.1.1. 无时势并不料味着莫得时势3.7.1.2. 意味着应用要领在写入数据时界说时势，无论是写入音尘部队、平面文献、blob依然文档数据库（如MongoDB）3.7.2. 固定时势3.7.2.1. 缔造在关整个据库存储之上的更传统的模子使用数据库中强制实施的固定时势，应用要领写入必须合乎该时势

3.8. 时势随时辰变化

3.8.1. 事实上，在软件开发的敏捷步履中饱读舞时势演变

3.9. 在源系统时势中获取原始数据输入，并将其转化为有价值的分析输出

4. 存储

4.1. 选拔存储照拂有运筹帷幄是在数据人命周期其余部分取得成效的环节，并且出于种种原因，它亦然数据人命周期中最复杂的阶段之一

4.1.1. 云上的数据架构广泛运用多种存储照拂有运筹帷幄4.1.2. 很少出奇据存储照拂有运筹帷幄纯正用作存储，许多赞成复杂的转化查询，以致对象存储照拂有运筹帷幄也可能赞成宽绰的查询功能4.1.3. 固然存储是数据工程人命周期的一个阶段，但它常常涉过甚他阶段，举例获取、转化和工作

4.2. 数据的存储容貌会影响数据在数据工程人命周期的整个阶段中的使用容貌

4.3. Apache Kafka和Pulsar等流式框架不错同期四肢音尘的获取、存储和查询系统，对象存储是数据传输的圭臬层

4.4. 评估存储系统

4.4.1. 该存储照拂有运筹帷幄是否与架构所需的写入和读取速率兼容？4.4.2. 存储是否会给下流历程变成瓶颈？4.4.3. 了解这种存储期间的责任旨趣吗？4.4.3.1. 你是在最好地运用存储系统依然在作念出不当然的活动？4.4.3.2. 你是否在对象存储系统中应用了高速率的立时探访更新4.4.4. 该存储系统能否处理预期的畴昔范畴？4.4.5. 下流用户和进度是否大要在所需的工作等第协定(Service Level Agreement，SLA)中检索数据？4.4.6. 你是否正在拿获研讨时势演变、数据流、数据血统等的元数据？4.4.7. 这是一个纯存储照拂有运筹帷幄（对象存储），依然赞成复杂的查询时势（即云数据仓库）？4.4.8. 存储系统是时势不成知的（对象存储）吗？4.4.8.1. 无邪的时势(Cassandra)吗？4.4.8.2. 是强制时势（云数据仓库）吗？4.4.9. 怎么追踪主数据、黄金纪录数据质料和数据血统以进行数据治理？4.4.10. 那儿理端正确信性和数据主权？4.4.10.1. 能否将数据存储在某些地舆位置而不是其他位置？

4.5. 数据探访频率

4.5.1. 并非所出奇据都以一样的容貌探访4.5.2. 检索时势将因存储和查询的数据不同而有很大各异4.5.3. 数据探访频率将决定数据的温度4.5.3.1. 探访频率最高的数据称为热数据4.5.3.1.1. 热数据广泛每天被检索屡次，以致每秒可能被检索几次4.5.3.2. 不温不火的数据可能会每隔一段时辰探访一次4.5.3.3. 冷数据很少被查询shibo体育游戏app平台，适合存储在存档系统中4.5.3.3.1. 出于合规方向或在另一个系统发生糟糕性故障的情况下，广泛会保留冷数据4.5.3.3.2. 在“昔时”，冷数据将存储在磁带上并输送到良友档案设施4.5.3.3.3. 在云环境中，供应商提供相当的存储层，每月存储资本相配便宜，但数据检索的价钱很高