Пост-big-data эпоха
Что происходит
В мире накоплено огромное количество big data, однако делать выводы на их основе сложно. В одних случаях собранная информация низкого качества, например, сильно диверсифицирована
и нерепрезентативна.

В других — качественных данных недостаточно. В третьих — информация неверно интерпретируется. Кроме того, сбор, хранение и обработка big data требуют больших энергозатрат и много других ресурсов, чтобы соответствовать жестким требованиям регуляторов. В результате эффективность использования данных сильно снижается.
Сложившаяся ситуация привела к развитию более избирательного подхода к сбору, обработке и хранению данных, а также росту спроса на специалистов, которые умеют искать информацию под конкретные сценарии и прогнозировать их развитие.
Что будет дальше
Сценарий 1
В сфере big data появится монополист — централизованная система хранения и обработки данных, которая будет знать все обо всем и обо всех, как Скайнет.
Сценарий 2
Специализация в обработке данных усилится. Компании-потребители будут покупать не огромные объемы сырой информации, а уже идентифицированные сигналы, имеющие вес в определенном сценарии. Например, сигналы о том, что человек внезапно стал гораздо чаще выезжать за МКАД или снизил категорию магазинов, где делает покупки. Параллельно будут распространяться методы вычислений, повышающие конфиденциальность данных.
Ограничения
Смерть cookie и других идентификаторов
Крупные экосистемы, как Apple, не хотят делиться данными и закрывают к ним доступ.
Кибербезопасность
Обмен любой информацией требует наличия безопасных каналов.
Регулирование
Необходимость соответствовать требованиями законодательства ограничивает компании в работе с данными.
Use Cases
Синтетические данные
Синтетические данные отражают закономерности, но не содержат персональной информации. Метод используется, когда имеющихся данных недостаточно для моделирования. В этом случае реальную информацию анонимизируют и на ее основе создают дополнительную — синтетическую.
Synthesized

Всего за несколько минут платформа создает необходимые объемы анонимных данных из генеративных моделей, снижая при этом риски, связанные с низким качеством информации.

Аудит данных
Новый уровень технологий обработки данных помогает отслеживать и автоматизировать работу с некорректной информацией. Например, повторяющимися значениями или неработающими панелями. Такие продукты повышают качество собираемой информации и доверие к ней.

Специализация в обработке данных
Прицельный поиск и обработка данных позволяют улучшить бизнес-модели специализированных финтех-решений. Например, чтобы прогнозировать, как будут продаваться SaaS-продукты, нужно уметь скорить SaaS-компании по их финансовым потокам.

Информационная безопасность
Мошеннические операции — редкие события, поэтому количественные методы не подходят для их анализа. Более точные, специализированные данных позволяют создавать решения для предотвращения конкретного типа фрода.

Поделиться в соцсетях