SNOWFLAKE: как построить эффективное приложение для работы с данными
Сейчас — самое подходящее время для разработки SaaS-приложения для работы с данными. Международная корпорация данных (IDC) говорит, что ежегодный рост решений для больших данных и бизнес-аналитики составит двузначную цифру в течение следующих трех лет. Но чтобы стать успешными, приложения должны быстро и легко собирать и анализировать большие объемы данных.
Облачная платформа помогает разрабатывать такие приложения, которые отвечают требованиям современных пользователей. Многие приложения для обработки данных сегодня построены на традиционных стеках, включая устаревшие локальные и облачные хранилища данных. Им не хватает возможностей, которые сделают приложения успешными.
Snowflake как раз предоставляет стек, необходимый для разработки и масштабирования современных приложений для обработки данных. Snowflake работает в облаке и для облака, а это обеспечивает значительные преимущества — и они становятся очевидными при изучении его архитектуры, развертывания и операций.
Вот 3 шага от Snowflake, которые помогут обеспечить эффективную работу с пользователями, гарантируя при этом правильный фреймворк и поддержку для вашей компании.
ВЫБИРАЙТЕ СТРАТЕГИЧЕСКИ ПРАВИЛЬНЫЕ РАЗМЕРЫ ВИРТУАЛЬНОГО ХРАНИЛИЩА В ЗАВИСИМОСТИ ОТ ЦЕЛЕЙ
При установке и настройке решения Snowflake выделите отдельные виртуальные хранилища (вычислительные кластеры) для рабочих нагрузок — в зависимости от потребностей. Такая практика помогает снизить объем вычислительных ресурсов, выделяя только нужные ресурсы для конкретных операций, функций или рабочих потоков.
Например, вместо использования большого виртуального хранилища (стоимостью 8 кредитов в час) можно использовать хранилище среднего размера (4 кредита в час) и малое виртуальное хранилище (2 кредита в час). И такой вариант идеально подойдет для вашего приложения — при этом вы экономите без каких либо потерь в производительности
Если же потребуется сложный и «тяжелый» разовый анализ, можно выполнять запросы на отдельном хранилище нужного размера, работа которого не будет влиять на обработку других запросов.
Если есть какой-то фиксированный объем работ, то имеет смысл использовать самый большой размер хранилища. Производительность запросов имеет тенденцию масштабироваться линейно, поэтому большое хранилище обеспечивает более быстрый анализ, а в итоге будет стоить столько же, сколько и малое хранилище, работа которого займет больше времени (в час малое стоит дешевле, но работает дольше, значит, и затраты на него растут).
ОТРЕГУЛИРУЙТЕ МИНИМАЛЬНОЕ И МАКСИМАЛЬНОЕ ЧИСЛО КЛАСТЕРОВ В СООТВЕТСТВИИ С ОЖИДАЕМЫМИ РАБОЧИМИ НАГРУЗКАМИ
Выберите нужный размер хранилища (малый, средний, большой), который обеспечит достаточную производительность для каждого отдельного выполняемого запроса. Учитывайте, что хранилище определенного размера выполняет отдельные запросы в два раза быстрее, чем хранилище меньшего объема. А каждый дополнительный кластер позволяет хранилищу выполнять больше запросов параллельно.
Чтобы максимизировать производительность и минимизировать затраты, важно настроить минимальное и максимальное число кластеров виртуального хранилища — в зависимости от параллельной пропускной способности, которая планируется при рабочей нагрузки.
При этом по мере уменьшения рабочей нагрузки один кластер отключается, поэтому оплата будет только за те ресурсы, которые используются в данный момент. Такая стратегия Snowflake обеспечивает стабильную производительность независимо от количества запросов.
СКОНЦЕНТРИРУЙТЕСЬ НА ВАЖНОМ
Если вы собираете несколько типов данных из нескольких источников, важно определить, какие данные вам нужны — и в зависимости от этого настроить архитектуру и поддерживать те рабочие потоки, которые имеют наибольшую ценность.
Какие-то потоковые данные нужно обработать почти в реальном времени и в результате предпринять определенные действия. В то время как с другими типами данных не обязательно работать сразу и их можно сразу отправить в хранилище для сложной аналитической сегментации в будущем.
Предлагая такие возможности, Snowflake не только помогает экономить бюджет при работе с данными, но и помогает управлять данными быстро, получать быстрые аналитические данные в нужный момент и именно там, где они необходимы. В Snowflake каждый фрагмент данных может быть отправлен в два разных места, что облегчает немедленную обработку и хранение, а также позволяет легко обрабатывать неструктурированные данные.
Источник: www.snowflake.com
Мы, компания АНАЛИТИКА ПЛЮС, с 2012 года помогаем нашим клиентам работать с данными — находить полезные инсайты и использовать эту информацию для увеличения прибыли компании.
За это время мы разработали и внедрили решения для компаний из разных сфер бизнеса: ритейл, дистрибуция, логистика, e-commerce, банки и финансы, маркетинг, телеком, производство, логистика, транспорт.
Мы помогаем начать работу с инструментами BI, предоставляем услуги «под ключ» — от сбора данных до установки ПО и предоставления финального интерактивного отчета. И конечно — проводим обучение: наши клиенты ни от кого не зависят и умеют работать со своими данными самостоятельно!
Нам доверяют:
