НОВЫЕ ФУНКЦИИ SNOWFLAKE, ВЫПУЩЕННЫЕ В АВГУСТЕ 2020

07.10.2020

В августе 2020 года Snowflake анонсировала несколько новых функций, которые делают платформу облачных данных Snowflake более простой в использовании, более мощной для обмена данными и более удобной для использования с помощью языков, поддерживаемых Snowflake. Новые функции позволяют использовать в Snowflake больше рабочих нагрузок, пользователей и данных, это поможет вашей компании решать самые сложные аналитические задачи.

Поддержка нескольких облаков (Multi-Cloud), кросс-облаков (Cross-Cloud) и сопоставления с образцом в Snowpipe

Snowpipe, впервые представленный в 2017 году , представляет собой службу непрерывного приема данных Snowflake, созданную для аналитики в реальном времени. Когда он стал общедоступным, клиенты использовали Snowpipe для загрузки данных в Snowflake, и с тех пор его распространение только увеличилось. В августе Snowflake анонсировала следующие функции, которые сделают Snowpipe более надежным:

• Автоматизированная непрерывная загрузка данных для этапов GCS.
  Соответствуя принципу практически нулевого обслуживания, который является основным принципом Snowflake, эта функция обеспечивает автоматическую непрерывную загрузку данных для облачного хранилища Google (GCS) без вмешательства администратора. Используя уведомления о событиях, Snowpipe автоматически загружает новые данные из облачного хранилища в Snowflake, что делает их доступными для аналитических команд и ускоряет анализ.
• Непрерывная загрузка данных в Snowflake на AWS: многим клиентам Snowflake требуется подход с несколькими облаками, чтобы избежать привязки к поставщику или для адаптации различных платформ в результате интеграций и поглащений. Часто организации ищут способы использовать платформу облачных данных Snowflake у ведущих поставщиков облачных услуг, которые поддерживает Snowflake, а именно: Amazon, Google и Microsoft. Поскольку данные регулярно хранятся в собственном облачном хранилище, предлагаемом этими поставщиками, Snowflake теперь позволяет пользователям получать данные в Snowflake на AWS независимо от поставщика облачных услуг, который хранит данные. Теперь пользователи могут автоматизировать непрерывную загрузку данных в учетные записи Snowflake, размещенные на AWS, из файлов данных в GCS или Microsoft Azure.
• Сопоставления с образцом: архитектуры, управляемые событиями, сегодня обычное дело. При возникновении определенных типов событий (таких как обнаружение мошенничества или запросы на обслуживание клиентов в режиме реального времени) использование данных для принятия правильных решений имеет решающее значение. Сопоставление с образцом идеально подходит для запуска автоматической загрузки данных Snowpipe на основе уведомлений о событиях. В зависимости от события данные могут по-разному перенаправляться в разные части организации, чтобы у них были самые актуальные данные для рабочего процесса, который они хотят оптимизировать.

Улучшения в драйвере Go Snowflake.

Пользователи Snowflake часто используют язык программирования Go, когда работают на платформе Snowflake. В августе Snowflake дополнительно улучшила поддержку Go для более широкого диапазона рабочих нагрузок и данных, предложив следующие функции в новом релизе:

• Поддержка драйвера Go Snowflake 1.3.7 для запросов с несколькими операторами: Драйвер Go Snowflake в версии 1.3.7 и в более поздних версий позволяет пользователям отправлять строку, содержащую несколько операторов SQL, которые должны выполняться за один вызов драйвера Go. Теперь разработчики могут выпустить один оператор SQL, который возвращает несколько наборов результатов. Это значительно упрощает работу разработчика, уменьшая объем необходимого кода.
• Go Snowflake Driver 1.3.4 поддерживает формат передачи данных Arrow: Snowflake впервые представила поддержку формата Apache Arrow в феврале 2020 года . Формат Arrow обеспечивает высокую производительность и поддерживает преобразование между большим количеством комбинаций типов данных Golang и SQL, чем предоставляет формат JSON.

Безопасный обмен данными для внешних таблиц

Для многих организаций с хранилищем данных большое количество данных находится в файлах, расположенных в облачных хранилищах, таких как Amazon S3, GCS или Microsoft Azure. К сожалению, обмен этими данными с другими пользователями или сторонними заинтересованными сторонами требует создания копий или совместного использования данных с помощью FTP, что увеличивает накладные расходы на обслуживание и потенциально создает проблемы управления. Новая функция теперь позволяет пользователям обмениваться данными непосредственно из своего хранилища данных. При использовании Snowflake обмен данными в хранилище данных осуществляется безопасно и беспрепятственно, без дополнительных накладных расходов, требуемых традиционными подходами к совместному использованию.

Обновления связанные с удобством использования Snowsight

В пользовательском интерфейсе Snowflake, аналитики могут создавать запросы и взаимодействовать с платформой облачных данных Snowflake. Snowflake постоянно работает над расширением функциональности Snowsight, чтобы включить возможности, необходимые для всех рабочих процессов, поддерживаемых Snowflake.

• Пользовательское обновление схем метаданных (schema metadata): ранее в Snowsight метаданные схемы обновлялись автоматически каждые 24 часа. Когда в базе данных была создана новая таблица или представление, пользователи с нужными ролями и разрешениями могли запрашивать объект; однако обозреватель схемы не будет сразу отображать новый объект, и новый объект не может быть найден, что означает, что важные обновления или новые данные могут быть пропущены. Теперь у пользователей есть возможность обновить схему в любое время по своему выбору, чтобы иметь более свежую информацию о важных изменениях в базе данных, не дожидаясь их заполнения.
• Выполнение нескольких операторов SQL последовательно на одном рабочем листе: аналитики используют рабочие листы в Snowsight для построения и выполнения операторов SQL в Snowflake. Раньше аналитикам приходилось либо создавать сложные процедуры планирования, либо вручную выполнять операторы SQL. Однако благодаря этой новой функции пользователи могут выполнять несколько операторов SQL последовательно в Snowsight. В результате повышается производительность и эффективность.

Хотите узнать, как провести анализ и сделать отчеты быстро?

 

Нам доверяют: