Сегодня данные заставляют мир вращаться, возможно, даже больше, чем деньги. Благодаря точному и привлекательному представлению данных компании могут привлекать инвесторов, удовлетворять требования регулирующих органов, увеличивать продажи, экономить деньги и работать как простые и эффективные машины. Очевидно, это предполагает, что они знают, где находятся данные и для какой цели; Данные, необходимые для годового отчета, конечно, будут отличаться от тех, которые необходимы для маркетинговой кампании, ориентированной на клиентов среднего размера. Но получить необходимые данные не всегда легко; В большинстве организаций гораздо сложнее найти и получить доступ к нужным данным, чем нажать несколько кнопок. Данные могут быть неправильно маркированы, плохо храниться или не организованы. Из-за этих проблем с метаданными данные, которые должны иметь большую ценность для организации, оказываются гораздо менее полезными. В результате отчеты могут не содержать данных, поскольку их трудно найти, что может привести к путанице, нарушению сроков и даже к штрафам со стороны регулирующих органов. Чтобы избежать проблем такого типа, важно укрепить метаданные, обеспечив прозрачность данных и их происхождение. Системы, которые позволяют организациям контролировать свои данные, могут предотвратить эти потери и проблемы и обеспечить их процветание. Метаданные (данные данных) могут состоять из десятков, сотен или тысяч тегов, все из которых используются в областях хранения данных, включая базы данных для различных служб, информацию о клиентах, базы данных для всей организации, деловые документы, инструменты ETL, инструменты анализа, хранилище данных. блоки для социальных сетей, инструменты отчетности и т. д. Все эти источники являются источниками данных для автоматического поиска. все они должны содержать согласованные теги метаданных. Это означает, что все члены организации, участвующие в сборе и хранении данных, должны придерживаться согласованных соглашений о том, какие теги метаданных использовать. Контроль данныхL & # 39; Невозможность контролировать данные, часто из-за плохого управления метаданными, встречается довольно часто. Согласно одному исследованию, 85% компаний предприняли значительные шаги, чтобы доверять данным, но только 37% говорят, что добились этого. А контроль данных имеет решающее значение для некоторых наиболее важных задач, которые должны выполнять предприятия. Как эти 63% из них терпят неудачу? Конечно, с вашими командами бизнес-аналитики. Например, в случае годового отчета о доходах всей организации, результаты которого не совпадают с результатами каждой службы в целом, группа BI организации проверяет базы данных и пытается сопоставить соответствующую информацию. Именно в ходе этой проверки, проводимой преимущественно вручную, команда BI обнаружит и, будем надеяться, устранит неточности метаданных. Но это может занять много времени и стоить трейдеру приличную сумму денег. Для решения этой проблемы, помимо других метаданных, организации необходима автоматизированная система, способная предоставить необходимые инструменты для решения этих задач. Идеальная система могла бы по самим данным распознавать, к какой категории метаданных они принадлежат. Таким образом, вы увидите тег метаданных под названием «Расходы» с соответствующей записью данных в одной базе данных, тег «Расходы» во второй и тег «Затраты» в третьей. Автоматизированная система была бы достаточно умна, чтобы понять, что числа всех трёх соответствуют одному и тому же, несмотря на различия в метаданных. Экономическое обоснование очевидно; экономит время как для групп BI, у которых теперь есть автоматизированные инструменты, помогающие им выполнять свою работу более точно и эффективно, так и для экономии времени и денег. Более эффективные операции для любой части организации, которая зависит от данных (т. е. для всех). Но помимо шума, решение проблем метаданных может также помочь решить проблемы регулирования, которые с появлением GDPR, CCPR Калифорнии, новых правил HIPAA и других, которые, вероятно, являются предметом прорыва, теперь очень актуальны. GDPR, например, требует от организаций продемонстрировать, что они способны находить данные о физических лицах в соответствии с правилами «права на забвение». Просто неспособность доказать это является уважительной причиной в соответствии с правилами. А без точного контроля над метаданными, когда информация помечается по-разному в разных источниках данных, вы сводите все данные к одному человеку (одному из миллионов, которые могут появиться в базе данных). организация) будет практически невозможно. Данные стремительно растут. Ежедневно по всему миру уже генерируется более 2.5 миллиардов байт данных. К 2020 году на каждого жителя планеты будет приходиться 5,200 ГБ данных. А революция Интернета вещей, которая только начинается, обещает увеличить эти цифры в геометрической прогрессии. Ожидается, что все организации, устройства, системы, базы данных и т. д., даже внутри организации, будут соответствовать единому стандарту метаданных. Автоматизированное разрешение метаданных должно стать частью революции данных для любой организации, которая планирует использовать данные (то есть для всех).