Анализ, используемый в отрасли, повсеместен и весьма разнообразен. От корреляции всех компонентов технологической экосистемы до обучения и адаптации к новым событиям, через автоматизацию и оптимизацию процессов, эти варианты использования в основном заключаются в помощи человеку, повышении его продуктивности и снижении количества ошибок. В обществе мы видим, что аналитика все чаще рассматривается как цемент или мозги, движущие развивающиеся бизнес- и социальные экосистемы, которые могут и преобразуют нашу экономику и наш образ жизни. работа и игра «Данные» Старый пробный камень технологической индустрии «люди, процессы и технологии» прочно укоренился, но мы могли бы начать заменять «технологии» «вещами»; Все больше и больше, поскольку интегрированные и невидимые технологии становятся поистине повсеместными в датчиках и подключенных технологиях во всем, что нас окружает. Когда мы подключаемся, мы называем Интернет вещей или Интернет всего, но для по-настоящему подключенной и эффективной системы мы начинаем накладывать столь необходимый «анализ вещей». Forrester говорит о «Insight Systems» и считает, что это движущие силы цифровых компаний в будущем. Это необходимо, потому что только посредством анализа компании и учреждения могут синхронизировать различные компоненты этой сложной экосистемы, которая стимулирует трансформацию бизнеса и общества. Другими словами, если мы не понимаем и не используем все эти данные, зачем нам вообще их генерировать? Хотя наличие цифровой структуры означает, что можно объединить множество процессов: от различных бизнес-решений до производства или даже потребительских цифровых решений, таких как приложения для управления домом, именно анализ координирует и адаптирует спрос, используя когнитивные навыки против новых сил. и события. Существует необходимость автоматизировать и оптимизировать процессы, чтобы сделать людей более продуктивными и способными своевременно и адаптивно реагировать на такие факторы, как валютные рынки, глобальные социальные сети и другие сложные системы. Однако аналитическое веко, как правило, остается большим количеством известных проблем с хранилищами данных, даже с хорошо спроектированными. Хранилища данных, как правило, эффективно отвечают на известные вопросы, но компании склонны требовать от хранилищ данных слишком многого. Обычно это идеально подходит для отчетов и информационных панелей со специальным анализом этих представлений, но это всего лишь один аспект многих строк данных, и его реализация, как правило, медленная, трудная для изменения, дорогая в управлении и не идеальна для много специальных запросов. Конвейеры данных «спагетти» Современная среда данных опирается на множество источников, помимо хранилища данных, таких как производственные базы данных, приложения, хранилища данных, ESB, хранилища данных. Объёмные источники данных из социальных сетей и других внешних источников данных, а также неструктурированные данные. Также. Проблема в том, что спагетти-архитектура часто ассоциируется с экосистемой и такими целями, как производственные приложения, аналитика, отчеты, информационные панели, веб-сайты и приложения. Чтобы перейти от этих источников к соответствующим конечным точкам, конвейеры данных состоят из нескольких шагов, которые преобразуют необработанные данные в пригодные для использования выходные данные. Некоторые каналы относительно просты, например «экспортируйте эти данные в файл CSV и поместите их в эту папку». Но многие из них более сложны, например перемещение таблиц выбора из десяти источников в целевую базу данных, объединение общих полей, преобразование массива в размерную схему, агрегирование по годам, маркировка нулевых значений, преобразование оператора для одного. Инструменты BI и дополнительные Генерация конвейеров также может работать вместе, например, эксплуатация и разработка, когда разработка вводит новые и инновационные процессы в рабочий процесс операций в подходящее время, обычно до завершения преобразования данных. Переход к анализу данных. Он работает эффективно, многократно и извлекает данные из источников с помощью различных процессов обработки данных для бизнес-пользователей, которым они нужны, от исследователей до пользователей, от аналитиков до ученых. или потребителей, так что это успешный конвейер. DataOpsDataOps предоставляет в смесь ряд значений. С точки зрения agile, SCRUM, Kanban, спринты и самоорганизующиеся команды поддерживают разработку в нужном направлении. DevOps основан на бесшовной интеграции, развертывании и тестировании с использованием репозиториев и контейнеров кода и конфигурации. Всеобщее управление качеством основано на показателях производительности, постоянном мониторинге, сравнительном анализе и стремлении к постоянному совершенствованию. Методы автоматизации экономичного топлива, оркестровка, эффективность и простота. Преимущества такого разнообразия размеров включают скорость, время цикла и более быструю переналадку; Экономия, с большим количеством повторного использования и координации; Качество, с меньшим количеством дефектов и большей автоматизацией; и большее удовлетворение, основанное на большем доверии к данным и процессу. ИИ может существенно повысить ценность комплекса DataOps, поскольку вместе данные и ИИ становятся стеком по умолчанию, на котором строятся многие современные корпоративные приложения. В структуре DataOps нет такой части, которую ИИ не мог бы оптимизировать, будь то процессы обработки данных (разработка, развертывание, оркестровка) или технологии обработки данных (сбор, интеграция, подготовка, анализ); или сам трубопровод, от приема до проектирования и анализа. Ценность ИИ будет исходить от машинного обучения, ИИ и расширенной аналитики, которые выйдут за рамки решения проблем (хотя это приведет к значительной экономии с точки зрения затрат). ресурсы и время), за счет более эффективной автоматизации и перераспределения процесса. Детали должны работать плавно. Когда DataOps повышает ценность, целью правильной архитектуры является координация и упрощение конвейеров данных, а целью DataOps — интеграция и автоматизация, мониторинг и оптимизация конвейеров данных. Компаниям следует провести инвентаризацию своих конвейеров данных и тщательно изучить процессы и инструменты DataOps, чтобы решать свои проблемы с помощью инструментов подходящего размера. Искусственный интеллект будет на первом месте в обеспечении максимальной пользы от DataOps.