Архитектура хранилищ данных: традиционная и облачная
Содержание:
- Платформы управления данными: для чего они нужны, и какую играют роль?
- Mega (Megasynk)
- Ключевые особенности объектных хранилищ
- NAS
- Как определить, что в жестком диске применена технология SMR
- Цели проекта
- Новые архитектуры хранилищ данных
- Определение порядка хранения данных
- Компромисс между OLAP и OLTP
- Google Drive
- Как облегчить жизнь маркетологу: новый self-service инструмент для работы c данными
- DropBox
- Организация хранении инфомарции
- Samsung Cloud
- Ошибка в UltraISO «Виртуальный CD/DVD привод не найден»
- Надежность хранение информации
- Яндекс Диск
- Базовые принципы хранения информации
- Гиперконвергентные системы
- Новые горизонты
- На чем зарабатывает дата-центр.
- Платформы управления данными (DPM) в рекламе и маркетинге
Платформы управления данными: для чего они нужны, и какую играют роль?
- Управлять файлами, объектами, данными приложений, базами данных, данными виртуальных и облачных сред, получать доступ к данным разных типов.
- С помощью инструментов оркестрации и автоматизации перемещать данные туда, где их хранение наиболее эффективно — в первичную, вторичную инфраструктуру хранения, в ЦОД провайдера или в облако.
- Использовать комплексные функции защиты данных.
- Обеспечить интеграцию данных.
- Получать из данных оперативную аналитику.
Практические области управления данными (источник; CMMI Institute).
Компонент | Область применения |
---|---|
Стратегия управления данными | Цели и задачи управления, корпоративная культура управления данными, определение требований к жизненному циклу данных. |
Управление данными | Управление данными и метаданными |
Операции с данными | Стандарты и процедуры работы с источниками данных |
Качество данных | Обеспечение качества, фреймворк качества данных |
Платформа и архитектура | Архитектурный фреймворк, платформы и интеграция |
Поддерживающие процессы | Оценка и анализ, управление процессами, обеспечение качества, управление рисками, управление конфигурацией |
- Изменение управления данными в существующих системах, внедрение ролевой модели с разделением обязанностей и полномочий. Контроль качества данных, перекрестная проверка данных между системами, исправление недостоверных данных.
- Настройка процессов извлечения и сбора данных, их трансформации и загрузки. Приведение данных к единой системе без усложнения контроля качества данных и изменения бизнес-процессов.
- Интеграция данных. Автоматизация процессов доставки нужных данных в нужное место и в нужное время.
- Введение полноценного контроля качества данных. Определение параметров контроля качества, разработка методологии использования автоматических систем.
- Внедрение инструментов управления процессами сбора данных, их верификации, дедупликации и очистки. Как следствие — увеличение качества, достоверности и унификации данных всех систем предприятия.
Mega (Megasynk)
Mega (Megasynk) — облачное хранилище с самым с большим объемом бесплатного дискового пространства. Или почти с самым, но в любом случае оно в 10 раз вместительнее, чем у двух предыдущих — целых 50 Гб. Другие значимые достоинства сервиса — это сквозное шифрование данных (ключ расшифровки не хранится на сервере) и открытый исходный код. То и другое оценят пользователи, для которых особенно важна безопасность.
Клиентское приложение Mega существует в версиях для Windows, OS X, Linux, iOS, Android, Windows Mobile, а также в виде расширения для браузеров Google Chrome, Firefox и почтовой программы Thunderbird.
Помимо упомянутого бесплатного тарифа, сервис имеет 4 платных: «Pro Lite» (200 Гб, €4,99 в месяц), «Pro I» (1 Тб, €9,99 в месяц), «Pro II» (4 Тб, €19,99 в месяц) и «Pro III» (8 Тб, €29,99 в месяц). Кстати, чем дороже тарифный план, тем выше скорость передачи файлов.
Дополнительные возможности как бесплатного, так и платных аккаунтов здесь не особенно велики. Поскольку сервис главным образом предназначен для хранения резервных копий данных, в нем нет инструментов работы с документами. Есть функция синхронизации файлов, возможность делиться ссылками, отправлять приглашения другим пользователям и встроенный чат.
Кроме того, в профиле пользователя хранится история авторизаций на сервере с указанием даты, использованного приложения и IP-адреса.
Ключевые особенности объектных хранилищ
- PUT создает новый объект и заполняет его данными.
- В результате данные в существующем объекте невозможно изменить, поэтому все объекты в хранилище считаются неизменяемыми.
- Когда вы создаете новый объект, хранилище возвращает его уникальный идентификатор. Обычно это UUID, у которого нет такого внутреннего значения, как у имени файла.
- GET извлекает содержимое объекта на основе идентификатора объекта (UUID).
- Блоки данных предназначены для однократной записи, поэтому узлу не нужно блокировать объект перед чтением содержимого. Нет риска, что другой узел что-то запишет в объект во время чтения.
- Единственная ссылка на объект — уникальный идентификатор объекта. Значит, для определения физического местоположения объекта (диска или узла хранения) можно использовать простой хэш идентификатора объекта. Чтобы узнать, на каком сервере фактически размещено содержимое объекта, вычислительному узлу не нужно связываться с сервером метаданных.
NAS
Network attached storage, или сетевое файловое хранилище, представляет дисковые ресурсы в виде файлов (или объектов) с использованием сетевых протоколов, например NFS, SMB и прочих. Принципиально базируется на DAS, но ключевым отличием является предоставление общего файлового доступа. Так как работа ведется по сети — сама система хранения может быть сколько угодно далеко от потребителей (в разумных пределах разумеется), но это же является и недостатком в случае организации на предприятиях или в датацентрах, поскольку для работы утилизируется полоса пропускания основной сети — что, однако, может быть нивелировано с использованием выделенных сетевых карт для доступа к NAS. Также по сравнению с SAN упрощается работа клиентов, поскольку сервер NAS берет на себя все вопросы по общему доступу и т.п.
Как определить, что в жестком диске применена технология SMR
В последние месяцы на глаза попадалось много материалов о том, что производители скрывают использование технологии SMR в своих устройствах. Новости о том, что покупатели жестких дисков подают в суд на производителей и тому подобное.
Дело в том, что в силу особенностей технологии, такие устройства плохо подходят для многих сценариев использования, в которых находят своё применение жесткие диски. Выражается это в катастрофическом падении производительности.
Для определения того что в диске, лежащем на полке магазина, применена технология SMR, если эта информация не указывается производителем явно, требуется знать модельные ряды и их особенности. По другому, похоже, никак. Не получится со 100% вероятностью определить это и по заявленным характеристикам диска.
Но если диск уже попал к вам в руки, определить использование технологии SMR можно достаточно просто. Далее я расскажу о том, как это сделать.
Цели проекта
Во-первых, оптимизировать работу департамента управления рисками. До начала работ расчетом факторов кредитного риска (ФКР) занимался целый отдел, и все расчеты производились вручную. Перерасчет занимал каждый раз около месяца и данные, на основе которых он базировался, успевали устареть. Поэтому в задачи решения входила ежедневная загрузка дельты данных в хранилище, перерасчет ФКР и построение витрин данных в BI-инструменте (для данной задачи оказалось достаточно функционала SpagoBI) для их визуализации.
Во-вторых, обеспечить высокопроизводительные инструменты Data Mining для сотрудников банка, занимающихся Data Science. Данные инструменты, такие как Jupyter и Apache Zeppelin, могут быть установлены локально и с их помощью также можно исследовать данные и производить построение моделей. Но их интеграция с кластером Cloudera позволяет использовать для расчетов аппаратные ресурсы наиболее производительных узлов системы, что ускоряет выполнение задач анализа данных в десятки и даже сотни раз.
В качестве целевого аппаратного решения была выбрана стойка Oracle Big Data Appliance, поэтому за основу был взят дистрибутив Apache Hadoop от компании Cloudera. Стойка ехала довольно долго, и для ускорения процесса под данный проект были выделены сервера в приватном облаке заказчика. Решение разумное, но был и ряд проблем, о которых расскажу ниже по тексту.
В рамках проекта были запланированы следующие задачи:
- Развернуть Cloudera CDH (Cloudera’s Distribution including Apache Hadoop) и дополнительные сервисы, необходимые для работы.
- Произвести настройку установленного ПО.
- Настроить непрерывную интеграцию для ускорения процесса разработки (будет освещена в отдельной статье).
- Установить BI-средства для построения отчетности и инструментов Data Discovery для обеспечения работы датасайентистов (будет освещена в отдельном посте).
- Разработать приложения для загрузки необходимых данных из конечных систем, а также их регулярной актуализации.
- Разработать формы построения отчетности для визуализации данных в BI-средстве.
Компания Neoflex не первый год занимается разработкой и внедрением систем на базе Apache Hadoop и даже имеет свой продукт для визуальной разработки ETL-процессов — Neoflex Datagram. Я давно хотел принять участие в одном из проектов этого класса и с радостью занялся администрированием данной системы. Опыт оказался весьма ценным и мотивирующим к дальнейшему изучению темы, поэтому спешу поделиться им с вами. Надеюсь, что будет интересно.
Новые архитектуры хранилищ данных
Panoply
- Анализ запросов и данных — определение наилучшей конфигурации для каждого варианта использования, корректировка ее с течением времени и создание индексов, сортировочных ключей, дисковых ключей, типов данных, вакуумирование и разбиение.
- Идентификация запросов, которые не следуют передовым методам — например, те, которые включают вложенные циклы или неявное приведение — и переписывает их в эквивалентный запрос, требующий доли времени выполнения или ресурсов.
- Оптимизация конфигурации сервера с течением времени на основе шаблонов запросов и изучения того, какая настройка сервера работает лучше всего. Платформа плавно переключает типы серверов и измеряет итоговую производительность.
По ту сторону облачных хранилищ данных
Загрузка данных в облачные хранилища данных нетривиальна, а для крупномасштабных конвейеров данных требуется настройка, тестирование и поддержка процесса ETL
Эта часть процесса обычно выполняется сторонними инструментами;
Обновления, вставки и удаления могут быть сложными и должны выполняться осторожно, чтобы не допустить снижения производительности запросов;
С полуструктурированными данными трудно иметь дело — их необходимо нормализовать в формате реляционной базы данных, что требует автоматизации больших потоков данных;
Вложенные структуры обычно не поддерживаются в облачных хранилищах данных. Вам необходимо преобразовать вложенные таблицы в форматы, понятные хранилищу данных;
Оптимизация кластера
Существуют различные варианты настройки кластера Redshift для запуска ваших рабочих нагрузок. Различные рабочие нагрузки, наборы данных или даже различные типы запросов могут потребовать иной настройки. Для достижения оптимальной работы, необходимо постоянно пересматривать и при необходимости дополнительно настраивать конфигурацию;
Оптимизация запросов — пользовательские запросы могут не соответствовать передовым методам и, следовательно, будут выполняться намного дольше. Вы можете работать с пользователями или автоматизированными клиентскими приложениями для оптимизации запросов, чтобы хранилище данных могло работать так, как ожидалось
Резервное копирование и восстановление — несмотря на то, что поставщики хранилищ данных предоставляют множество возможностей для резервного копирования ваших данных, их нетривиально настроить и они требуют мониторинга и пристального внимания
Ссылка на оригинальный текст: panoply.io/data-warehouse-guide/data-warehouse-architecture-traditional-vs-cloud
Определение порядка хранения данных
Правильное распределение информации на жестком диске повышает надежность компьютера. В большинстве случаев, дисковое пространство компьютера распределяется следующим образом: на системном локальном диске «С» установлена операционная система Windows, программы, другие важные данные, необходимые для работы системы, а второй локальный диск используется для хранения пользовательских данных.
Для чего нужны два раздела? Для большей безопасности и надежности работы. Система и данные должны быть разделены.
В случае краха системы, вы не потеряете данные, которые находятся на другом локальном диске (диск «D»). Потому что после переустановки системы, будут потеряны только данные на системном диске «С», все остальное сохраниться в целостности и сохранности.
Поэтому на компьютере желательно иметь два или более локальных дисков (например, диски «C» и «D»). На диске «D» имеет смысл хранить свою личную информацию: музыку, фильмы, фотографии, учебные материалы, дистрибутивы программ и т. п.
Перед распределением данных, обратите внимание на следующее: на системном диске всегда должно хватать места для работы операционной системы и программ, установленных на компьютере. Не забывайте о будущем (вдруг вы установите приложения, занимающие много места на диске), и о том, чтобы на системном диске оставалось свободное место (минимум 10-15%) необходимое для оптимальной работы операционной системы Windows
В противном случае, после заполнения свободного пространства на диске, серьезно замедлится работа компьютера.
На системном диске «С» находятся папки «Документы» (Мои документы), «Рабочий стол», «Загрузки», в которых порой храниться большой объем информации. Эти каталоги можно перенести на другой раздел жесткого диска. Лично я этого не делаю, а только контролирую содержимое этих папок. Я не храню файлы в папке «Загрузки», а переношу загруженные файлы в места постоянного хранения.
После установки на компьютер приложения для облачного хранилища, папка хранилища по умолчанию расположена на диске «С». Если вы используете синхронизацию, все данные «облака» будут на системном диске.
Если объем облачного хранилища большой, оптимальное решение: перенести папку облачного хранилища на другой локальный диск компьютера. В этом случае, ваши данные из «облака» не будут занимать место на системном диске.
На своем компьютере я перемещаю папки облачных хранилищ на другие разделы. Прочитайте статью о том, как перенести Яндекс.Диск на другой локальный диск.
На диске «D» моего компьютера находится папка Яндекс.Диск, размером более 200 ГБ, а на диске «E» находится папка Cloud Mail.Ru, объемом 1000 ГБ. Эти папки синхронизированы с облачными хранилищами, в них находятся важные для меня данные. Папки находятся на компьютере, поэтому я имею постоянный доступ к этим файлам, и даже в случае выхода из строя жесткого диска, я не потеряю важную информацию, потому что благодаря синхронизации она сохранится в «облаке».
В данный момент, на моем компьютере установлены два жестких диска: на первом жестком диске расположены два Локальных диска «С» и «D», а на втором жестком диске – один Локальный диск «E».
Диски используются следующим образом:
- Локальный диск «С» (системный диск).
- Локальный диск «D» (хранилище файлов).
- Локальный диск «E» (хранилище файлов).
После того, как вы определитесь с дисками компьютера, удалите дубликаты файлов.
Компромисс между OLAP и OLTP
В решениях 1С компромисс реализован следующим образом. События при записи в базу пишутся сразу в несколько мест. В одном месте записи имеют мало индексов и оптимизированы под OLTP нагрузки, в другом месте записи индексируются по всем полям и адаптированы для OLAP нагрузок. Такие таблицы называются регистрами накоплений и регистрами сведений. Поскольку запись в несколько мест кратно увеличивает занимаемое пространство, то для экономии в регистры попадают не все атрибуты транзакции, а только те, которые считаются важными для данного раздела аналитического учёта. Подобный компромисс называется ROLAP моделью, т.е. реляционно-аналитическим отображением.
Google Drive
Главное достоинство облачного хранилища Google Drive — интеграция с другими службами Гугл. В их числе: средство создания онлайн-фотоальбомов Google Фото, редакторы документов (текстов, таблиц, презентаций) Google Docs, инструмент для работы с формами и опросниками Google Forms, редактор схем и диаграмм Google Drawings и т. д (полный список связанных приложений приведен внизу главной страницы). У сервиса Google Drive есть даже собственный магазин приложений, которые расширяют его возможности до бесконечности. Кроме того, надо отдать должное встроенному просмотрщику файлов Гугл Диск, поддерживающему более 30 форматов. Благодаря ему мы можем просматривать файлы всех распространенных типов прямо в браузере — без скачивания их на ПК и загрузки в связанные приложения.
Каждый владелец аккаунта Google (а это практически все, кто пользуется устройствами на базе Андроид), получает в бесплатное распоряжение 15 Гб дискового пространства и все интегрированные приложения сервиса. Желающим увеличить объем хранилища, как и везде, придется раскошелиться:
- 100 дополнительных Gb стоит 139 рублей в месяц;
- 1 Тб — 699 рублей в месяц;
- 10 Тб — 6 990 рублей в месяц;
- за максимальный объем — 30 Тб, придется заплатить 20 990 рублей в месяц.
Однако кроме увеличения доступного дискового пространства, премиум-аккаунт не дает никаких иных преимуществ: все возможности Google Drive в равной мере доступны всем его пользователям.
Как облегчить жизнь маркетологу: новый self-service инструмент для работы c данными
DropBox
DropBox — одно из старейших кроссплатформенных облачных хранилищ. В отличие от предыдущего, оно поддерживает все основные операционные системы, а также некоторые редко используемые, например, Symbian и MeeGo. Сервис очень прост в применении, работает быстро и стабильно.
Бесплатно пользователю DropBox предоставляется всего 2 Гб дискового пространства для хранения личных файлов, но этот объем можно увеличить вдвое, создав и присоединив к своему аккаунту еще один — рабочий (который на самом деле может быть и личным). Вместе получится 4 Гб.
Переключение между личным и рабочим дисковым пространством на сайте DropBox и в приложении осуществляется без выхода из учетной записи (не нужно каждый раз вводить логин и пароль). На компьютере для того и другого аккаунта создается отдельная папка — 2 Гб каждая.
У DropBox, как и положено, тоже есть несколько тарифных планов. Про бесплатный было сказано выше, Платные — это «Plus» (1 Тб, $8,25 в месяц, предназначен для личного использования), «Standard» (2 Тб, $12,50 в месяц, для бизнеса), «Advanced»(неограниченный объем, $20 в месяц за 1 пользователя) и «Enterprise» (неограниченный объем, индивидуально устанавливаемая цена). Различия между двумя последними заключаются в наборе дополнительных опций.
Бесплатным пользователям помимо хранилища доступны:
- Сервис совместной работы с документами DropBox Paper.
- Возможность делиться ссылками и создавать общие папки.
- Журнал изменений файлов с возможностью восстанавливать их к предыдущей версии (до 30 дней).
- Комментирование файлов — как своих, так и других пользователей, если файл доступен для просмотра.
- Функция поиска.
- Получение уведомлений о событиях (настраивается индивидуально).
- Автоматическая загрузка фотографий с камеры (кстати, за включение этой опции некоторое время назад DropBox предоставлял пользователям дополнительное пространство).
- Выбор полной либо выборочной синхронизации.
- Шифрование данных при хранении и передаче.
Возможности платных тарифов можно перечислять очень долго, поэтому отметим только основные:
- Удаленное уничтожение данных из DropBox на потерянном или украденном устройстве.
- Ограничение срока действия ссылки.
- Двухфакторная проверка подлинности аккаунта.
- Настройка уровней доступа к разным данным.
- Усиленная защита информации класса HIPAA/HITECH (безопасное хранение медицинской документации).
- Круглосуточная техническая поддержка.
DropBox если не лучший, то весьма достойный сервис. Несмотря на малый по сегодняшним меркам объем бесплатного места, им пользуются миллионы людей по всему миру.
Организация хранении инфомарции
Организацией данных является всё то, что позволяет структурировать данные, будь то алфавитный порядок по которому расставлены книги в библиотеке, или же папки на компьютере которые отсортированы по каталогам.
Без организации доступ к всему тому многообразию информации которое имеется усложняется, а затем и вообще становиться недоступной.
Сортировка информации тоже бывает разной, как например Алфавитная сортировка и содержательная. Книги из библиотеки упомянутые выше, являются примером алфавитной сортировки, а папки в каталогах — Содержательной сортировкой, по причине упорядочивания файлов по смысловой нагрузке.
Samsung Cloud
Облачное хранилище Samsung Cloud — фирменная веб-служба для владельцев смартфонов и планшетов одноименного производителя. Предназначена для хранения резервных копий данных с мобильных устройств — мультимедийного контента, файлов ОС и прочего на усмотрение пользователя.
Клиентское приложение Samsung Cloud предустановлено на телефонах и планшетах, выпущенных позже второй половины 2016 года (точнее, после выпуска Samsung Galaxy Note 7). Регистрация аккаунта на сервисе возможна только через него, видимо, для отсеивания посторонних.
Объем бесплатного хранилища составляет 15 Гб. Дополнительные 50 Гб стоят $0,99 в месяц, а 200 Гб — $2,99.
Ошибка в UltraISO «Виртуальный CD/DVD привод не найден»
В том случае, если во время установки программы UltraISO была снята галка напротив пункта «Установить ISO CD/DVD эмулятор (ISODrive)», или, если пользователь использует переносную версию программы — UltraISO Portable, то монтировать образ диска с помощью приложения не получится, из-за отсутствия виртуального привода.
На экране появится окно «Подсказка», в котором пользователь увидит сообщение: «Виртуальный CD/DVD привод не найден!».
Виртуальный привод не найден в UltraISO, что делать?
Если виртуальный CD привод не найден в UltraISO, потребуется решить возникшую проблему: необходимо включить соответствующую настройку в параметрах программы UltraISO.
Надежность хранение информации
Вопрос хранение информации всегда был актуален по двум причинам — первая это физическая утрата носителя информации, например как пожар в александрийской библиотеке в I веке до нашей эры, когда было утрачено очень много книг которые хранились всего в одном экземпляре, а вторая это утрата конфиденциальности информации.
С появлением и развитием современных технологий, физическая утрата информации всё менее и менее возможна из-за беспроблемного копирования.
А вот вторая проблема всегда была плохо решаема. Раньше у Вас могли перехватить твоё письмо, телеграмму и узнать необходимую информацию. С повсеместным распространением персональных компьютеров, на наших глазах мы становимся свидетелями того что скрытая информация такая как переписки, фотографии, рабочие документы и другие всё более доступны для окружающих, благодаря получению несанкционированного доступа, а иногда и продажи Ваших персональных данных.
Яндекс Диск
Что такое Яндекс Диск знают, наверное, все пользователи Рунета и одноименной поисковой системы — слишком уж активно компания пиарила свой продукт, когда он только появился. Благодаря их стараниям именно этот сервис завоевал самое большое доверие русскоязычных пользователей. И это несмотря на масштабный сбой, который случился несколько лет назад (в 2013 году). В результате критической ошибки обновления Яндекс Диска у некоторых пользователей нарушилась функциональность Windows, и компании пришлось компенсировать им ущерб, предоставив в пожизненное пользование по 200 Гб дискового пространства.
Яндекс Диск, как и Google Drive, тоже тесно интегрирован с другими службами разработчика, в частности, Яндекс-почтой, и имеет в своем составе массу полезных дополнений:
- Программу для создания и оформления красивых онлайн-фотоальбомов с функцией сортировки фотографий по датам и возможностью делиться ими в соцсетях.
- Утилиту для получения снимков экрана и автосохранения их на Яндекс Диске.
- Небольшой бесплатный фоторедактор.
- Антивирус для проверки загруженного контента.
Наряду с этим сервис поддерживает все стандартные функции облачных хранилищ: синхронизацию, ссылки, общие папки, поиск и т. д.
Встроенный просмотрщик файлов и флеш-плеер Яндекс Диска позволяют читать документы и книги, смотреть картинки и видеоролики, слушать музыку без загрузки на устройство. Всего поддерживается более 30 форматов файлов.
Объем бесплатного хранилища составляет 10 Гб, но компания часто проводит акции, во время которых можно получить в подарок дополнительное место. Цены на премиум-тарифы здесь тоже выгодно отличаются от конкурентов. За лишних 10 Гб придется доплатить всего 300 рублей в год, за 100 Гб — 800 рублей в год, за 1 Тб — 2000 рублей в год.
Базовые принципы хранения информации
Перед тем, как приступить к наведению порядка на компьютере, нужно определить для себя базовые принципы для упорядочивания хранения данных.
Все объекты необходимо распределить на категории, в дальнейшем все новые объекты должны распределяться по ранее созданным категориям. Структура хранения данных должна отвечать следующим требованиям:
- создаваемая структура должна быть удобной и максимально понятной;
- изменения не должны быть хаотичными;
- необходимо поддерживать порядок в выбранной структуре хранения данных.
В результате с компьютера будут удалены ненужные и лишние файлы (так как файлы часто дублируются), освободится место на ПК, повысится продуктивность работы.
Гиперконвергентные системы
Подавляющее большинство систем хранения данных используется для организации дисков виртуальных машин, при использовании SAN неизбежно происходит удорожание инфраструктуры. Но если объединить дисковые системы серверов с помощью SDS, а процессорные ресурсы и оперативную память с помощью гипервизоров отдавать виртуальным машинам, использующим дисковые ресурсы этой SDS — получится неплохо сэкономить. Такой подход с тесной интеграцией хранилища совместно с другими ресурсами называется гиперконвергентностью. Ключевой особенностью тут является способность почти бесконечного роста при нехватке ресурсов, поскольку если не хватает ресурсов, достаточно добавить еще один сервер с дисками к общей системе, чтобы нарастить ее. На практике обычно есть ограничения, но в целом наращивать получается гораздо проще, чем чистую SAN. Недостатком является обычно достаточно высокая стоимость подобных решений, но в целом совокупная стоимость владения обычно снижается.
Новые горизонты
Data-Driven Documents
Шаблон отчета на основе данных Google Analytics в Google Data StudioПотенциальные преимущества от внедрения:
- Создание интерактивной среды для работы с данными
- Сокращение времени доступа к данным
- Организация среды data-driven управления бизнесом
Примеры продуктов: Google Data StudioMicrosoft Power BI
Blockchain для хранения и обеспечения аутентичности данных
Потенциальные преимущества от внедрения:
- Максимальные гарантии аутентичности хранимых данных.
- Беспрецедентный уровень безопасности доступ к данным.
- P2P может обеспечить высокую скорость доступа к файлам.
- Распределенность пиров по всему миру обеспечит высокую доступность данных где бы вы ни были.
- Экстремально низкая стоимость (около $2 за терабайт)
Примеры продуктов:StorjSiaSpiderOak
На чем зарабатывает дата-центр.
Основная услуга, предоставляемая дата-центрами, это аренда:
- места на жестком диске или сетевом хранилище под хранение данных (нашего с вами Интернета),
- места в двухметровой стойке под сервер заказчика (collocation – колокейшн),
- самого сервера целиком (dedicated server – выделенный сервер)
- или аренда целого бокса, заставленного стойками, пустыми или заполненными серверами. В последнем случае торгуют не только площадью, но и потребленной серверами клиента электроэнергией (т.е. перепродажа энергии с небольшой накруткой).
Набирает популярность аренда программного обеспечения (SaaS – software as a service – программное обеспечение как услуга): дата-центр покупает лицензионное программное обеспечение и, установив на мощный сервер, раздает его по частям своим клиентам). А также аренда кусочка ресурсов сервера (VPS – virtual private server – виртуальный сервер).
Теперь вы знаете, где хранится интернет
Ах да, интернет можно хранить и у себя дома. Надо купить реальный IP-адрес у провайдера, настроить домашний web-сервер и разместить на нем свой блог.
Конечно, знаний потребуется больше, и канал доступа в интернет хорошо бы иметь «потолще», фаервол понадёжнее и сервер не выключать круглосуточно. Лучше доверить эти заботы профессионалам из ЦОД: за небольшие деньги коэффициент доступности вашего Интернета для других пользователей резко возрастет.
А напоследок хочется вспомнить сакраментальное: «Кто владеет информацией, тот владеет миром». Кстати, это, случайно, не девиз компании Гугл? Помните об этом, когда в очередной раз загружаете свои личные документы на какой-нибудь сервер Dropbox’а, расположенный в каком-нибудь ЦОДе…
UPD: Вот интересная статья о действиях айтишников на случай черезвычайной ситуации с ЦОД. Даже если вы не поймете половины слов, то масштабность и сложность процесса вполне можно оценить
Жмите кнопки, чтобы поблагодарить автора, улучшить карму и украсить ленту соц.сети.
Другие статьи похожей тематики
Snagit — программа для скриншотов и записи видео с экрана
Как проверить скорость интернета. Тест скорости интернета.
Современные браузеры и какой браузер лучше
Переключатель раскладки клавиатуры Punto Switcher
Как подключить две гарнитуры к компьютеру
Публичная личная информация в интернете
Платформы управления данными (DPM) в рекламе и маркетинге
По прогнозу Market Research Future (MRFR), мировой рынок платформ управления данными (DMP) может достичь к концу 2023 года 3 млрд. долларов при среднегодовом росте 15%, а в 2025 году его объем превысит 3,5 млрд. долларов.
- Дает возможность собирать и структурировать все типы аудиторных данных; анализировать имеющиеся данные; передавать данные в любое медийное пространство для размещения таргетированной рекламы.
- Помогает собирать, организовывать и активировать данные из различных источников и переводить их в полезную форму.
- Организует все данные в категории на основе бизнес-целей и маркетинговых моделей. Система анализирует данные и генерирует сегменты аудитории, которые точно представляют клиентскую базу в широком диапазоне каналов, основанных на различных общих характеристиках.
- Позволяет повысить точность таргетинга рекламы в онлайне и выстроить персонализированные коммуникации с релевантной аудиторией. На базе DMP также можно настроить цепочки взаимодействия с каждым целевым сегментом, чтобы пользователи получали актуальные сообщения в нужное время и в нужном месте.