Хранение данных

Путеводитель по репликации баз данных

Словарь определяет репликацию как процесс поддержания двух (или более) наборов данных в согласованном состоянии. Что такое «согласованное состояние наборов данных» – отдельный большой вопрос, поэтому переформулируем определение проще: процесс изменения одного набора данных, называемого репликой, в ответ на изменения другого набора данных, называемого основным

Совсем не обязательно наборы при этом будут одинаковыми.
Поддержка репликации баз данных – одна из важнейших задач администратора: почти у каждой сколько-нибудь важной базы данных есть реплика, а то и не одна.
Среди задач, решаемых репликацией, можно назвать как минимум

• поддержку резервной базы данных на случай потери основной;
• снижение нагрузки на базу за счёт переноса части запросов на реплики;
• перенос данных в архивные или аналитические системы.

В этой статье я расскажу о видах репликации и о том, какие задачи решает каждый вид репликации.

Обеспечить читаемость

Одной из основных проблем, которую необходимо решить при
организации долговременного хранения электронных документов, является
обеспечение их читаемости на протяжении всего жизненного цикла. Задача это
многоплановая: необходимо сделать так, чтобы электронный документ можно было
прочитать на той компьютерной системе или устройстве, на которой они
первоначально были созданы и/или где они в настоящее время хранятся и/или
которая в настоящее время используется для доступа к ним и/или которая будет
использована для хранения электронной документов в будущем.

Сохраненная на цифровом носителе информация может со
временем стать нечитаемой. К этому может привести несколько причин.

Воздействие плохих условий хранения приводит к
физическому износу или порче носителей. Все виды носителей, используемые в
настоящее время для хранения электронных документов, чувствительны к
воздействию неблагоприятной окружающей среды, — например, к перепадам
температуры и влажности. Подобные неблагоприятные условия или повреждают
носитель, или ускоряют процесс его «старения» и деградации. Для
обеспечения максимального срока службы различных типов цифровых носителей
требуются различные уровни контроля параметров окружающей среды в местах
хранения.

При использовании некоторых технологий записи информации
порча данных возможна вследствие воздействия магнитных полей, пыли и
загрязняющих окружающую среду веществ (магнитные носители), в то время как
другие виды носителей (оптические) менее подвержены влиянию внешних факторов и
менее чувствительны к повреждениям, случающимся вне строго контролируемой среды
хранения.

Моральное устаревание носителей и оборудования,
которое происходит в том случае, когда устройство (например, лента или диск)
физически несовместимо с имеющимся компьютерным оборудованием (например,
приводом для чтения лент или дисков), и, следовательно, информация не может
быть прочитана. Моральное устаревание носителей неизбежно, поскольку
технологические достижения постоянно изменяют способы физического хранения
электронных документов (происходят, например, изменения в технологии записи, в
интерфейсах оборудования и программного обеспечения приводов); изменяются
конструктивные параметры устройств. Как следствие, со временем более старые
носители информации становятся несовместимыми с появившимися позднее носителями
и оборудованием.

Устаревание форматов документов – электронные
документы создаются и используются в различных форматах. Многие из них являются
«закрытыми» — либо недоступны их подробные описания, либо их
использование может быть затруднено вследствие прав интеллектуальной
собственности. Это создает угрозу доступности информации при долговременном
хранении, поэтому уже сейчас при передаче электронных документов на длительное
хранение из широкого набора форматов, используемых создателями и получателями
документов, выбирается небольшое число часто используемых стандартов,
подходящих для целей архивного хранения.

Именно поэтому сейчас так популярны открытые форматы, которые
позволяют работать с электронными документами даже в отсутствие программного
обеспечения, использовавшегося для их создания. Специалисты рекомендуют в
случае необходимости сохранения электронных документов в
«нестандартном» формате постараться оставить максимально подробное
его описание и также само ПО.

Среди форматов для длительного и постоянного хранения пока
что доминируют (среди текстовых) PDF/A, другие версии открытого формата PDF,
SGML, XML и TXT. Для хранения веб-страниц используется HTML. Стоит отметить,
что новые открытые форматы ODF и OOXML для длительного и постоянного хранения
документов пока не используются.

Устаревание программного обеспечения. При создании
и использовании электронных документов организации и отдельные лица используют
широкий набор пакетов программ. Для обеспечения сохранности документов
чрезвычайно сложно сделать доступ к соответствующему ПО или поддерживать все
эти пакеты в работающем состоянии.

Часть электронных документов может оказаться зависимой от
программного обеспечения, — и, соответственно, их можно будет использовать лишь
в устаревших информационных системах.

Воздействие
плохих условий хранения приводит

к
физическому износу или порче носителей

Операционные системы и прикладное ПО неизбежно будут
вытесняться более новыми и производительными, имеющими больше функциональных
возможностей. Это означает, что для сохранения документов придется периодически
перемещать электронные документы из текущей программной среды в новую.

Работа с архивными документами

Подготовка к передаче документов на хранение в СХЭД (п.п. 3.8 и 3.9).

«К функциям СЭД относится:

• Формирование и ведение номенклатуры дел
• Отнесение документов к делам
• Формирование описей дел, документов структурных подразделений
• Экспертиза ценности документов, включающая в себя отбор электронных дел, документов, подлежащих передаче в СХЭД и выделение к уничтожению документов, не подлежащих хранению».

С документами, хранящимися в СЭД, все ясно. Но в организациях есть и другие информационные системы, в которых могут храниться документы, например, ERP. Эти системы могут вообще ничего «не знать» о номенклатуре дел и нормах делопроизводства. Соответственно для них должны быть разработаны дополнительные правила, по которым документы будут передаваться на хранение в СХЭД.

В документе ничего не говорится о том, как выгружать документы из других систем, той же ERP. Поэтому если организация захочет хранить документы из ERP, то нужно будет придумывать какие-то правила, по которым:

1)     эти документы будут выгружаться из ERP — это собственно задача ERP;

2)     эти документы будут размещаться в СХЭД — это задача СХЭД, и у нас для этого есть инструменты.

Прием документов в СХЭД (п. 4.3)

«СХЭД должна обеспечивать:

●    Прием электронных дел, документов и описей структурных подразделений с проверкой комплектности

●    Проверку электронных подписей документов

●    Проверку воспроизводимости электронных документов

●    Формирование ответных сообщений о подтверждении или об отказе в приеме документов».

Требования по воспроизводимости обозначены, но как это реализовывать — не понятно.

В документе есть явное указание на формат контейнеров ЭД, представляющий из себя «zip-архив, включающий контент и метаданные электронного документа, файлы электронных подписей и визуализированную копию текстового электронного документа в формате PDF/A».
 

Учет и классификация документов в СХЭД (п. 4.4)

Требования по учету электронных документов в СХЭД практически ничем не отличаются от требований по учету бумажных документов. При этом требования к составу метаданных ЭД учитывают только специфику документов, типичных для госорганов (письма, приказы и т.п.). У коммерческих организаций разнообразие документов намного больше: коммерческое предложение, устав проекта, техническое задание, протокол закупочной комиссии и т.д. В этом смысле требования вряд ли применимы для других видов документов.

Хранение электронных дел, документов в СХЭД (п. 4.5)

Этот блок выглядит одним из самых непроработанных в проекте требований. В нем зафиксированы требования к обеспечению СХЭД возможностей:

●    резервного копирования электронных документов;

●    проведения проверок наличия и состояния ЭД с использованием специальных программ проверки технического состояния электронных документов и фиксацией результатов проверок в соответствующих актах;

●    конвертации и/или миграции электронных документов в новые форматы;

Но при этом ничего не сказано об обеспечении юридической значимости ЭД при долговременном хранении. Эти требования я рассматривал ранее в статье на ECM-Journal.

Использование электронных дел, включенных в СХЭД (п. 4.2 и 4.6).

Использование ЭД предполагает:

●    Предоставление постоянных и временных прав доступа к документам

●    Формирование фонда пользования электронных дел и организацию на его основ электронного читального зала

●    Многокритериальный поиск

●    Формирование архивных копий, справок выписок

●    Учет использования электронных дел.

Тут остаются вопросы в первую очередь по предоставлению электронных документов по запросам различных организаций, так как единых требований по предоставлению ЭД во вне сейчас нет, и практика не сформирована.

Новый tech – новая этика. Исследование отношения людей к технологиям и приватности

Мы в коммуникационной группе Dentsu Aegis Network ежегодно проводим исследование Digital Society Index (DSI). Это наш глобальный ресерч в 22 странах мира, включая Россию, о цифровой экономики и ее влиянии на общество.
В этом году мы, конечно, не могли обойти стороной COVID-19 и решили посмотреть на то, как пандемия повлияла на цифровизацию. В итоге DSI 2020 вышел в двух частях: первая посвящена тому, как люди стали использовать и воспринимать технологии на фоне коронавирусных событий, вторая – как они теперь относятся к приватности и оценивают уровень своей уязвимости. Делимся результатами нашего исследования и прогнозами.

Копирование томов на СХД через Linux сервер с использованием XCOPY

Бывает, что нужно получить полную копию тома в рамках одной системы хранения данных (СХД), не снимок, клон, а именно полноценный том. Но не всегда СХД дает это сделать внутри себя собственными средствами. Вроде единственный вариант копировать через сервер, но при этом весь объем данных будет гоняться через сам сервер, сеть до СХД и порты СХД, нагружая все эти компоненты. Но есть SCSI команды, которые могут позволить сделать все в рамках самой СХД и если ваша система поддерживает VAAI от VMware, то практически 100%, что поддерживается команда XCOPY (EXTENDED COPY), которая и говорит массиву что и куда скопировать, не вовлекая в этот процесс сервер и сеть.

Сроки хранения и проверка юридической силы

Сроки хранения описаны бухгалтерским и налоговым законодательством России. Вам отлично известно, что, согласно закону № 402-ФЗ «О бухгалтерском учете», бухгалтерские первичные учетные документы следует хранить в течение пяти лет после года, в котором они использовались для составления бухгалтерской отчетности в последний раз. Данные нормативы распространяются одинаково на бумажные и электронные документы.

Законодательство о бухгалтерском и налоговом учете, об архивном деле устанавливает различные требования к срокам хранения документов бухгалтерского и налогового учета и отчетности

Разница в сроках хранения документов обусловлена важностью документа, его необходимостью для ведения бухгалтерского учета, для исчисления и уплаты налогов

Каким бы ни был срок хранения электронного документа, на всем его протяжении необходимо иметь возможность четко определить его юридическую силу, центральным гарантом которой выступает электронная подпись. Тут возникает вопрос: как проверить легитимность документа после того, как срок действия сертификата ЭП истёк.

Действительно, сертификат ЭП действует всего год, а большинство бухгалтерских документов, как видно на иллюстрации, хранятся минимум 5 лет. Фактически, получается, что ЭП спустя год уже будет невалидна, следовательно, легитимность документа оказывается под вопросом. Закон № 63-ФЗ «Об электронной подписи» говорит о том, что при проверке подписи сертификат ЭП должен быть либо действующим, либо должны быть доказательства, что он был таковым на момент подписания.

Такими доказательствами могут быть, например, штампы времени и информация о действительности ЭП (OCSP-ответы или списки отзывов сертификатов – CRL-списки). Если взять, к примеру, наш сервис, то при передаче электронной подписи она как раз дополняется данными доказательствами. Фактически, мы делаем из квалифицированной ЭП – усовершенствованную подпись (расширенный формат ЭП), которая поможет снять все существующие на сегодняшний день опасения об обеспечении легитимности ЭД.

Большинство вопросов легитимности снимается существующими реквизитами квалифицированной ЭП, просто стоит перечитать одну из наших предыдущих глав.

У многих компаний, которые приступают к организации архивов, также возникают опасения по поводу того, что делать с ЭП от удостоверяющего центра, прекратившего свое существование. Ответ на этот вопрос найдется в законе № 63-ФЗ «Об электронной подписи». Если аккредитованный удостоверяющий центр, который выдавал квалифицированные сертификаты, прекращает свое существование в определенный момент, то все данные по сертификатам, в частности списки отзывов и выпусков сертификатов, передаются в головной удостоверяющий центр. Вся эта информация сохраняется, плюс необходимые данные уже содержатся в самом формате подписи. Этого достаточно, чтобы решить вопросы с юридической силой документов с длительными сроками хранения.

Разумеется, все эти достаточно сложные процессы не будут ложиться на плечи простых пользователей электронных архивов или сервисов ЭДО.

OLTP

Модель хранения данных в OLTP можно сравнить с записями в телефонной книге. Строка в таблице представлена в виде индекса и соответствующих этому индексу данных: (indexN, data). Поэтому такую таблицу нельзя называть таблицей. Это скорее обычная книга, с пронумерованными строками. Если в книгу нужно записать новую операцию — добавляем строку, присваиваем индекс и закрываем книгу. Из книги торчат ярлыки по которым можно быстро O(log n), находить нужную строку и делать CRUD.

Для целей учёта операций это дружелюбное отображение. Но оно недружелюбно для анализа данных, в котором нам важны не строки сами по себе, но вычисления на основе содержимого этих строк. И если делать аналитический запрос на основе содержимого строк, т.е. по не индексированным полям, то такие запросы будут работать медленнее.

Индексировать все записи, как известно, не вариант. Хоть книга становится похожей на таблицу, поскольку атрибуты становятся доступны для быстрого поиска, но при этом существенно замедляется создание новых и обновление имеющихся строк. Поскольку эти операции будут требовать пересортировки всего массива.

Укрепляющиеся тренды

Функционал управления версиями документов

Это только 1/5 часть всего списка версий одного документа. Так делать не надо.FigmaLucidchartVitro-CADНапример, так выглядит в интерфейсе Google Docs одна из ранних версий этой статьи.SpiderOak (Источник)Потенциальные преимущества от применения:

• Снижение количества хранимых файлов
• Больше возможностей за контролем изменений
• Прозрачность изменений при совместной работе с документом
• Доступ ко всей истории изменений документа

Примеры продуктов:

Переход в облачные хранилища

SpiderOak (Источник)Потенциальные преимущества от применения:

• Отвязка от локальной офисной инфраструктуры, рабочих мест и VPN
• Отказ от поддержки локального сервера для хранения файлов
• Повышение гибкости организации контроля доступа к данным
• Доступность данных через интернет и мобильные платформы
• Высокий уровень защиты от потери данных
• Стоимость развертывания и поддержки
• Поддержка Active Directory, SSO, MFA/TFA

Примеры продуктов:Я придерживаюсь мысли что хранение файлов на сетевом диске офисного сервера — плохая идея. Вы не обязаны со мной соглашаться, но, на мой взгляд, хранение данных в облаке учит пользователей бережному отношению к качеству и количеству хранимой информации. Не доверяйте людям которые хранят в папке 40 версий документа с названием «final».

Использование систем управления документами

Пример портала на Confluence (Источник)Потенциальные преимущества от внедрения:

• Стандартизация и ускорение процессов документооборота
• Повышение уровня прозрачности и доступности информации
• Упрощение информационного обмена
• Организация хранения файлов документов и информации

Примеры продуктов:ConfluenceHotDocsMicrosoft SharePoint

Порядок хранения документов в делопроизводстве

Экономические субъекты должны обеспечивать сохранность документов в течение сроков их хранения (). При этом следует обеспечить безопасные условия хранения документов бухгалтерского учета и их защиту от изменений ().

Ни законодательство по бухгалтерскому учету, ни законодательство по налогам и сборам не регламентируют место хранения документов бухгалтерского, налогового учета и отчетности (за исключением некоторых, отдельных случаев).

Поэтому такие документы могут храниться в различных структурных подразделениях организации (в бухгалтерии, в кабинете директора, в специально созданном для хранения документов помещении и т.д.) или в ином, обособленном от офиса месте (специальное помещение, «отданное» под архив).

Конкретные правила организации документооборота, места хранения первичных документов разрабатываются экономическим субъектом самостоятельно, утверждаются его руководителем и закрепляются в учетной политике ( и п. 4 ПБУ 1/2008 «» (далее — ПБУ 1/2008)).

Если говорить о нахождении документов именно в офисе организации (в свободном доступе для бухгалтера), то, как было сказано, никаких сроков для такого хранения не установлено. Эти сроки (3 года, 5 лет, 10 лет и т.д.) компания также может утвердить самостоятельно.

Согласно  юридические лица вправе создавать архивы в целях хранения образовавшихся в процессе их деятельности архивных документов, в том числе в целях хранения и использования архивных документов, не относящихся к государственной или муниципальной собственности. Это значит, что создание архива является правом, но не обязанностью экономических субъектов ().

Отметим также, что экономические субъекты могут, но не обязаны передавать документы на хранение государственным и муниципальным архивам, заключив с ними соответствующие возмездные договоры (, ).

Согласно в архиве организации должны храниться документы Архивного фонда РФ (), документы по личному составу и документы временных (свыше 10 лет) сроков хранения. Указанная часть документального фонда составляет архивный фонд организации.

Документы временных (до 10 лет включительно) сроков хранения хранятся в структурных подразделениях организации и по истечении сроков их хранения подлежат уничтожению, после обязательного проведения экспертизы ценностей документов (). До проведения экспертизы ценности уничтожение документов запрещается ().

В исключительных случаях по решению руководителя организации дела временных (до 10 лет включительно) сроков хранения передаются в архив организации по описям дел, документов или по номенклатуре дел ().

Лазукова Екатерина, эксперт службы Правового консалтинга ГАРАНТ, профессиональный бухгалтер