Новое решение Vertica для быстрой загрузки и преобразования данных — PSTL!
В компании Vertica понимают, насколько важно принимать решения практически в реальном времени. Для этого требуется не только параллельная обработка больших массивов, которую предлагает Vertica, но и возможность быстро преобразовать и загрузить данные в Vertica.
Решение Parallel Streaming Transformation Loader (PSTL) призвано сократить время загрузки и преобразования данных. PSTL – это кастомизированная ETL-система, работающая в режиме реального времени. Доступна в открытом доступе на странице Vertica GitHub.
В основе решения – интеграция Vertica с Kafka и с потоковой передачей от Apache Spark. Приложение позволяет пользователям выполнять SQL-запросы над динамическими (потоковыми) данными, генерирующимися в реальном времени.
Источник: my.vertica.com
Нам доверяют:
