Global Tag Network Программное обеспечение для приложений и периферии

Технические параметры

Временные ряды в RDM

База данных временных рядов: что это такое и как работает

Что такое база данных временных рядов (TSBD)? 

База данных временных рядов (TSDB) разработана специально для обработки данных временных рядов или данных с отметками времени. Данные временных рядов могут быть собраны из диапазона событий или показателей, но они всегда относятся к периодам времени сервера, а не к отдельным событиям.  

 Вы можете использовать данные временных рядов для мониторинга, агрегирования, понижающей дискретизации и отслеживания поведения во времени. TSDB может использоваться для различных данных и целей, включая мониторинг производительности приложений, хранение показателей сервера и сетевых данных, анализ данных датчиков, отслеживание событий, рыночных сделок, кликов и т. Д. 

 Системы TSDB созданы для измерения изменений во времени. Это означает, что архитектура TSDB обычно отличается от других баз данных, особенно в отношении суммирования и управления жизненным циклом данных.   

 Как работает база данных временных рядов? 

TSDB фиксирует набор фиксированных значений и динамических значений. Например, в веб-приложении набор точек данных может быть действиями, выполняемыми группой посетителей. Динамические значения — это количество желаемых действий, таких как покупки в электронной коммерции, которые посетители совершают с течением времени. Анализируя покупки с течением времени, организация может понять ценность каждой группы пользователей и определить приоритеты маркетинговой деятельности для различных  сегментов клиентов .  

В идеале записи временных рядов следует записывать в репозиторий в формате, обеспечивающем быструю запись и чтение на основе времени. Поскольку записи имеют отметки времени, порядок точек данных становится естественным аспектом данных. Затем вы можете использовать этот порядок для доставки данных механизму обработки потока, который затем может обрабатывать упорядоченные данные как поток данных. Используя быстрый движок потоковой обработки, вы можете обеспечить быструю работу TSDB. 

Для чего используется база данных временных рядов? 

Интернет вещей (IoT) 

Технологии Интернета вещей генерируют и используют огромные объемы данных временных рядов. Например, мобильные устройства, приложения электронной коммерции, автомобили и системы для управления запасами, все данные с отметками времени в соответствии с событиями. Быстрый прием данных временных рядов имеет решающее значение для обеспечения того, чтобы устройства и показатели Интернета вещей могли непрерывно собирать данные и сохранять их для анализа. 


Мониторинг анализа
 

Данные временных рядов часто используются для мониторинга показателей компьютерной системы. Этот процесс работает путем считывания данных из компьютерных систем пользователей, которые согласились позволить другим контролировать компьютерную систему. Обычно метрики включают в себя количество процессов и использование памяти, которые помогают проверить использование ресурсов компьютера и оценить необходимость перераспределения ресурсов. 


Ключевые показатели эффективности (KPI)
 

KPI ориентированы на время, многократно отбираются и легко вписываются в данные временных рядов. Некоторые примеры этих KPI могут включать прибыль, доход, стоимость, коэффициент конверсии, количество транзакций и среднюю стоимость заказа. Как только эта информация будет собрана и сохранена, ее можно использовать для создания информационных панелей. 

Обнаружение аномалий 

Обнаружение аномалий помогает обнаруживать неожиданные отклонения в данных временных рядов. Данные временного ряда фиксируют значение всякий раз, когда происходит изменение системы. Организации могут использовать эти значения для измерения изменений, обнаружения способов, которыми изменения произошли в прошлом, отслеживания того, что происходит в настоящее время, и использования этих накопленных данных для прогнозирования будущих событий. 

 Виртуализация — главный фактор в достижении обнаружения аномалий. Например, график временных рядов обеспечивает визуализацию, которая часто требуется людям для выявления выбросов. Автоматическое обнаружение аномалий — еще один способ, который часто ускоряет процесс, предлагая аналитические данные в режиме реального времени. Это может позволить вам быстро сопоставить выбросы. 

Требования к базе данных временных рядов 

Базы данных, в которых хранятся данные временных рядов, должны обеспечивать следующие возможности:
 

  • В памяти для предупреждений о значениях — введенные данные следует немедленно сравнивать со всеми значениями, настроенными для запуска предупреждений.  
  • В памяти для предупреждений о тенденциях — введенные данные также следует сравнивать с предыдущими значениями, чтобы проверить наличие сигналов о тенденциях. Когда все записи, относящиеся к оценке тенденций, хранятся в памяти, сравнение может быть выполнено быстро. Система также может улавливать соответствующие высокие и низкие значения из предыдущих записей. 
  • В памяти для приложений и панелей мониторинга — приложения выполняют действия в соответствии со значениями данных, а панели мониторинга необходимы для отображения обновленных значений. Для достижения этих целей приложениям нужны оперативные данные в памяти (поскольку они обеспечивают быстрое действие), а информационным панелям требуется постоянное обновление отображения. 
  • Быстрый доступ к машинному обучению (ML), искусственному интеллекту (AI) и аналитике в реальном времени — системам бизнес-аналитики (BI), специальным запросам, алгоритмам машинного обучения , программному обеспечению AI и инструментам отчетности — всем нужен быстрый доступ к хранилищам данных . Чтобы обеспечить такой уровень скорости, данные могут нуждаться в интенсивном кэшировании, хранении в памяти или эффективном доступе с любой комбинации ресурсов диска и памяти. 
  • Высокая степень параллелизма для аналитики в реальном времени — данные временных рядов представляют собой самые последние считанные данные. Заинтересованным сторонам с различными интересами часто требуется доступ к этим данным одновременно. Это означает, что одновременно может поступать множество учетных записей и запросов, и система должна быть способна обрабатывать эти запросы.  
  • Высокая емкость — для обработки огромных объемов данных TSDB должна быть быстрой и масштабируемой. Часто требуется база данных временных рядов для сканирования и сравнения входных данных для предупреждений. Система также должна хранить данные в доступном месте и отвечать на запросы к большим наборам данных. 
  • Стандартные функции SQL. SQL — один из наиболее часто используемых языков в процессах обработки данных. Для обеспечения ключевой функциональности и использования баз данных временных рядов функции SQL должны работать с максимальной производительностью. 
  • Пользовательские функции временных рядов — в дополнение к функциям SQL, базам данных временных рядов требуется расширенная функциональность для повышения производительности. Вы можете включить, например, функции для возврата только записей с самым высоким и самым низким показаниями из большого набора записей. 

База данных временных рядов с Raima 

Последняя версия Raima представила мощную поддержку для хранения и агрегации данных временных рядов. RDM теперь имеет возможность генерировать интерфейс C / C ++ на основе определения временного ряда вместе с полным набором вызовов API поддержки быстрого преобразования Фурье. Вызовы FFT поддерживают масштабирование, абсолютное значение и реальные вычисления вместе с модульной конструкцией, так что разработчик может заменить библиотеку Raima FFT на любую другую пользовательскую или стороннюю библиотеку в соответствии со своими потребностями. Код временных рядов поддерживает автоматические вычисления среднего арифметического, геометрического и гармонического, а также понижающую дискретизацию и разделение данных.