Профессия Data Architect

Data Architect - это специалист, который проектирует архитектуру хранения, интеграции и обработки данных в компании. Он создаёт концептуальные и физические модели данных, выбирает технологии для озер и хранилищ данных, определяет потоки данных (data flows), стандарты и политики управления данными. Data Architect - это стратег, который строит фундамент для всех Data-процессов в организации.

Инструменты

• Моделирование данных: ER-диаграммы, UML, диаграммы потоков
• SQL и NoSQL (глубокое понимание)
• Базы данных: PostgreSQL, Snowflake, BigQuery, Redshift, MongoDB, Cassandra
• ETL/ELT: dbt, Airflow, Informatica, Talend
• Облачные платформы: AWS, GCP, Azure
• Data Governance: управление метаданными, качество данных
• Инструменты моделирования: ERwin, dbForge, Lucidchart

Роадмэп

Чтобы стать Data Architect, нужно пройти такой путь:

1. Выучить SQL и основы баз данных.
2. Освоить Data Engineering и ETL-процессы.
3. Изучить моделирование данных (нормализация, денормализация, звезда/снежинка).
4. Освоить облачные платформы и их сервисы для хранения данных.
5. Изучить Data Governance и управление метаданными.
6. Освоить архитектурные паттерны: Data Lake, Data Warehouse, Lakehouse, Mesh, Fabric.
7. Собрать портфолио: 2-3 архитектурных проекта.
8. Начать искать работу.

Типичный день

Утро Data Architect начинается с проверки задач в Jira и созвона с командой. Он обсуждает новую архитектуру для озера данных, рисует схему в Lucidchart, выбирает технологии (S3, Snowflake, dbt), составляет документацию. После обеда участвует в ревью с Data Engineer, согласовывает модель данных с бизнес-командой. К вечеру отправляет готовый дизайн в Confluence.

Сложности

• Архитектура должна быть гибкой и масштабируемой на годы вперёд.
• Нужно понимать бизнес-процессы и требования всех команд.
• Баланс между «идеальным» и «реализуемым».
• Много неопределённостей на старте проекта.
• Технологии меняются - нужно успевать за ними.

Вход

Минимальный порог входа - опыт Data Engineer или DBA (5+ лет), глубокое знание БД и архитектурных паттернов.

Рост

Из Data Architect можно расти в такие профессии:

• Ведущий Data Architect - управление архитектурой всей компании.
• Enterprise Architect - архитектура на уровне всей организации.
• CTO / Head of Data - управление всеми Data-процессами.
• Data Strategy Consultant - консультирование по Data-стратегиям.
• Cloud Data Architect - специализация на облачных решениях.