Разноуровневое хранение присоединенных файлов (расширение конфигурации 1С Предприятие 8.3 подойдет для любых типовых конфигураций)

Публикация № 1429666 23.04.21

База данных - Инструменты администратора БД

20 мая 2021 года в онлайн формате пройдет Форум пользователей 1С:Документооборота. Когда, как не сейчас, намекнуть разработчикам на возможные улучшения в конфигурациях (если по-честному, просто совпало). Всем известно, что хранить файлы на диске, не лучшая с точки зрения скорости, надежности и безопасности затея. Но если хранить файлы в базе 1С, то база увеличивается на порядок. Хотелось бы всего и сразу, но в типовых конфигурациях это не реализовано. Данная разработка исправляет это упущение. Интересующихся прошу под кат...

Эпиграф:

Всё, что есть прекрасного в этой жизни,
либо аморально, либо незаконно,
либо приводит к ожирению.

© Оскар Уайльд

Понятно, что впихнуть невпихуемое не получится. Но вполне возможно вынести присоединенные файлы из базы 1С не на файловые тома хранения, а в СУБД. Это снизит скорость доступа, но вернет  надежность и безопасность.
Примерно раз в год, на Инфостарте и/или на сайтах франчайзи появляются разработки, осуществляющие перенос файлов в СУБД.
Чего в них не хватает? Они (те которые я видел) переносят либо все, либо ничего. Хотя весь мир заодинэсья давно уже знает, что такое разноуровневое хранение.
Когда "горячие" данные (к которым идет постоянное обращение) остаются на быстром СХД, а "холодные" уходят на более медленное, зато более дешевое по накладным расходам хранения.
Данная разработка как раз и реализует подобный подход.
Запись присоединенных файлов всегда происходит типовыми механизмами в базу 1С, это обеспечивает скорость и надежность.
Далее, вручную или регламентным заданием по произвольному отбору эти данные могут быть в нерабочее время перемещены в ADODB совместимую СУБД и оттуда уже читаются может быть вообще никогда.

Для того, чтобы понять, какие файлы переносить, в расширении предусмотрено ведение статистики обращения к файлам.
С нее и рекомендуется начать работу.

Что получается в результате работы разработки:
Часть присоединенных файлов хранится в базе 1С, часть во внешнем хранилище. 
Все это происходит прозрачно для пользователя.

Безопасность и надежность внешнего хранения обеспечивается обезличенным хранением, вычислением хеш-функции как в момент переноса файла (в этот же момент происходит контрольное считывание файла и сверка CRC), так и средствами СУБД.

Кроме того реализованы возможности сверки CRC в любой момент по всему объему хранения и при считывании файла из СУБД по запросу 1С.

При этом полностью соблюдается лицензионное соглашение 1С о неизменности структуры хранения базы данных 1С.

Внимание!

В виде расширения под типовые конфигурации разработка в рабочих базах не проверялась, поэтому вы должны осознавать и принимать ответственность за свои данные.
В частности обязательно сделать/делать бекапы базы 1С и СУБД.

У вигляді розширення під типові конфігурації розробка в робочих базах не перевіряв, тому ви повинні усвідомлювати і приймати відповідальність за свої дані.
Зокрема обов'язково зробити / робити бекапи бази 1С і СУБД.
Tipik konfiqurasiyalar üçün bir əlavə olaraq, istehsal məlumat bazalarındakı inki#1;af təsdiqlənməmi#1;dir, buna görə məlumatlarınızın fərqində olmalı və məsuliyyət da#1;ımalısınız.
Xüsusilə, 1C verilənlər bazası və DBMS-nin ehtiyat nüsxələrini etmək / etmək vacibdir.
Tüüpiliste konfiguratsioonide laiendusena pole tootmisandmebaaside arengut kontrollitud, seega peaksite olema teadlik oma andmetest ja vastutama nende eest.
Eelkõige on hädavajalik teha / teha varukoopiaid 1C andmebaasist ja DBMS-ist.

На время тестирования сообществом цена будет снижена, а имеющие желание попробовать и имеющие от 500 плюсов в рейтинге по направлению администрирование могут получить разработку бесплатно.
Возможности разработки можно посмотреть на видео:

Что нужно знать и уметь делать самостоятельно для корректного использования обработки:

1. Уметь пользоваться и знать что такое ADO/ODBC.

2. Уметь пользоваться и иметь настроенную базу 1С (типовой или близкой к типовой конфигурации, список проверенных ниже по тексту), уметь подключать внешние обработки

3. Знать, что такое двоичные данные

4. Знать, что такое присоединенные файлы 1С

5. Уметь делать бэкапы и восстанавливаться из них

6. Обработка проверена на редакциях:
 для России:

  1. Документооборот 8 КОРП, редакция 2.1 (2.1.28.12)

работа на редакциях отличающихся вторым октетом (после первой точки) или выпущенных ранее 6 месяцев от указанных, не гарантируется и возврат денег по этой причине не производится 

Также возможна, но не обязательно реализуема автором, адаптация под любую имеющуюся у пользователя типовую или нетиповую конфигурацию. 

Требований к хранилищу СУБД нет,  главное чтобы оно поддерживало ADODB.
Полностью проверены:

  • Microsoft Access
  • Microsoft SQL

Установка и использование обработки:

  1. Обработка выполнена с использованием управляемых форм, соответственно, для конфигураций с обычным интерфейсом требует для работы включения в конфигурацию либо запуска в управляемом интерфейсе.
  2. Может использоваться платформа  8.3.12.х и старше

7. Код открыт и может быть доработан вами самостоятельно.

8. Принтскрины и видео могут быть для конфигурации не совпадающей с вашей, и могут отличаться по внешнему виду, но пункты меню и названия разделов для их открытия будут одинаковыми для всех типовых конфигураций.

9. Очень важная информация! Техподдержка сайта и разработчик это разные люди.

  • Техподдержка сайта в рабочее время ответит вам на вопросы связанные с приобретением обработки любым удобным для вас способом общения.
  • Разработчик ответит только в электронном виде. Срок ответа может достигать 24 часов в рабочие дни. Поэтому желательно, чтобы возникшая проблема была описана достаточно понятно. Это в ваших интересах.
  • Все дополнительные работы разработчиком производятся в нерабочее время.
  • Для предложений по улучшению и изменению функционала есть комментарии к этой публикации.
  • Так же разработчик никак не связан ни с 1С, ни с Microsoft , поэтому предусмотреть все возможные случаи использования обработки у него не получается. Спокойно опишите возникшую проблему и спокойно попробуем ее решить.

Внимание!

Если вы не поняли полностью или частично написанных выше строк, для внедрения обработки вам нужно обратиться к специалисту или подождать пока сама фирма 1С реализует нечто подобное в типовых конфигурациях.

Техподдержка по этим вопросам оказываться не будет. Спасибо за понимание.

Эти и другие вопросы можно задать в комментариях публикации или сообщении разработчику перед покупкой.

Обработка продолжает серию публикаций.
Ошибки и предупреждения журнала регистрации. Для любой типовой конфигурации 1С: Предприятие 8.3

Постановка задачи:

Необходима реализация в 1С разноуровневого хранения присоединенных файлов.

 

Решение:

Расширение конфигурации, внешняя обработка 1С, которые реализуют этот функционал. 
Внимание! 
Предполагается для начала аккуратное заполнение всех необходимых файлов в 1С.
Файлы нулевой длины не переносятся.

Порядок работы:

Внимание!  Все продаваемые за рубли мной на этом сайте обработки и расширения могут быть подключены людьми не владеющими навыками программирования 1С, но обязательно внимательно прочитавшими публикацию и посмотревшими видео. Это проверенный факт.
Не забываем про бэкап !

Подключаем расширение конфигурации и убираем флажок безопасного режима.

Подключаем обработку и отчет в 1С как внешние - рекомендуемый вариант действий.

После этого начнет собираться статистика использования файлов, ее можно увидеть отчетом.


По этой статистике можно построить запрос переноса файлов во внешнее хранилище.
Например все старше 1 года и не открывавшиеся в течении этого года.

Перенос файлов осуществляется внешней обработкой, ее можно для безопаасности не подключать в базу 1С.



Демо-настройки позволяют проверить основные моменты на файловых базах и 1 файле

Что в поставке публикации:

  • обработки 1С
  • скрипт создания БД Microsoft SQL
  • текстовый файл с настройками на всякий случай

Пример хранения файлов в СУБД

Пример информации о хранении файлов - регистр сведений 1С

Небольшая статистика

Документооборот 8 КОРП, редакция 2.1 (2.1.28.12) 476 файлов размером 25 Мб

  ПолучитьНавигационнуюСсылку ВоВременномХранилище Все файлы в 1С ПолучитьНавигационнуюСсылку ВоВременномХранилище  Все файлы в хранилище Длительность переноса файлов во внешнее хранилище Длительность возврата файлов в базу 1С
Microsoft Access Driver={Microsoft Access Driver (*.mdb, *.accdb)} 2 270 630 318
SQL EXPRESS Driver={ODBC Driver 17 for SQL Server} 2 238 511 252
SQL EXPRESS Driver={SQL Server} 2 235 531 253
MS SQL  Driver={SQL Server} 2 76 196 114
SQL EXPRESS Driver={SQL Server}
ADODB.Stream
2 12 31 15
         
         

 

UPD 26.04.2021 : Перешел на ADODB.Stream вместо потоков 1С при работе с двоичными данными и получил прирост скорости кратно

Расширение в поставке заменено.

Требования к запуску расширения:

Расширение предназначено для использования с актуальными типовыми конфигурациями, или нетиповыми, но включающими в себя библиотеку стандартных подсистем.

 

Установка и использование расширения:

  1. Расширение выполнено с использованием управляемых форм.
  2. Может использоваться платформа  8.3.16.х и старше

 

         Поддержка отчета, лицензирование:

  1. Расширение не имеет ограничений по периоду действия, количеству организаций и информационных баз.
  2. При возникновении вопросов по работе с отчетом, их можно обсудить в комментариях к публикации, личных сообщениях либо по e-mail, указанному в письме с отчетом.
  3. Не верю, что кто то этого может не знать, но специально для ИТ партнеров ОЗОН
    Разработка защищена авторским правом! То, что вы его скачали, не означает, что вы можете его бесплатно распространять на сайте ОЗОН и где бы то ни было.

Скачать файлы

Наименование Файл Версия Размер
Разноуровневое хранение присоединенных файлов (расширение конфигурации 1С Предприятие 8.3 подойдет для любых типовых конфигураций):

.zip 133,61Kb
4
.zip 1.0.0.1 133,61Kb 4 Скачать


3600 руб.
1.0.0.1 0
Цена до 01.06.2023
1800 руб.
3600 руб.

0 1500 руб.

Специальные предложения

Вознаграждение за ответ
Показать полностью
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. vandalsvq 1311 30.04.21 16:22 Сейчас в теме
А с каких пор хранение файлов в файловой системе не самый лучший вариант? Спорный вопрос
2. Техподдержка 30.04.21 18:38
(1)с момента его появления )
EliasShy; +1 Ответить
3. RALIN123 33 08.08.22 08:58 Сейчас в теме
4. azhilichev 210 17.08.22 10:15 Сейчас в теме
Это приемлемо работает, когда суммарный объем файлов небольшой. Когда объем файлов начинает измеряться в гигабайтах, хранение их в БД начинает влиять на время создания бэкапов БД.
5. Техподдержка 18.08.22 09:58
(4)
(4)
Это приемлемо работает
что именно приемлемо работает?
6. azhilichev 210 19.08.22 02:25 Сейчас в теме
(5) Моя ошибка, неправильно понял суть статьи. Вы предлагаете хранить файлы в отдельной БД SQL. Я посчитал, что в базе 1С. Прошу прощения.
7. Silenser 574 14.09.22 09:21 Сейчас в теме
Приятно, когда предложенная 12 лет назад идея живет и здравствует https://infostart.ru/public/74821/
В качестве предложения: всегда будут случая нарушения консистентности данных, так что этот случай нужно будет выявлять и как то обрабатывать. Нужен отчет, который позволит находить отличия в хранимых ID в базе 1С и внешнем хранилище. Далее либо удалять то, что образовалось лишнее во внешнем источнике, либо сообщать пользователю о необходимости повторной загрузки файла.
8. Техподдержка 14.09.22 12:04
(7)
всегда будут случая нарушения консистентности данных

c чего бы они появились?
9. Silenser 574 14.09.22 19:28 Сейчас в теме
1. Сбой транзации при помещении данных во внешнее хранилище, когда справочник в систему записался, а во внешнюю базу - нет.
2. Кто-то удалил запись из внешней базы, а справочник с ID остался.
10. Техподдержка 14.09.22 21:13
1. У меня так невозможно
2. Аналогично
11. leonvlas 05.10.22 13:44 Сейчас в теме
Вроде 1с уже смотрит в эту сторону. - такой же подход.
Хранить файлы на диске это круто, до того момента пока не получишь сообщение, что файла уже нет
и кто его удалил отдельная тема и что теперь делась - сказка.
poiskadm; +1 Ответить
Оставьте свое сообщение

См. также

Подсистема хранения картинок во внешних файлах для УТ 10.3

Инструменты администратора БД Платформа 1С v8.3 1С:Управление торговлей 10 Управленческий учет Платные (руб)

Решение позволит вам хранить файлы и картинки вне базы данных, для более лучшей компактности вашей базы данных

21600 руб.

11.08.2021    6991    2    6    

1

Внешний отчет на СКД "Ошибки и предупреждения журнала регистрации". Для любой типовой конфигурации 1С: Предприятие 8.3

Журнал регистрации Платформа 1С v8.3 Конфигурации 1cv8 Абонемент ($m)

20 мая 2021 года в онлайн формате пройдет Форум пользователей 1С:Документооборота. Когда, как не сейчас, намекнуть разработчикам на возможные улучшения в конфигурациях (если по-честному, просто совпало). Типовой отчет по журналу регистрации либо невозможно добавить в регламентную рассылку, либо невозможно настроить вариант (по крайней мере, я не знаю этих возможностей). Хотя очень неплохо иметь представление о происходящем в базе 1С именно на регулярной основе. Данная разработка исправляет это упущение. Интересующихся прошу под кат...

4 стартмани

19.04.2021    7795    13    capitan    6    

7

Конфигурация Session Monitor

Мониторинг Инструменты администратора БД Платформа 1С v8.3 Россия Платные (руб)

Конфигурация Session Monitor предназначена для мониторинга сервера 1С с целью отслеживания чрезмерной нагрузки от конкретных сеансов и скорости реакции рабочих процессов.

1500 руб.

01.12.2020    10744    22    0    

35

Ускоренное проведение документов (x4), устранение ошибок 60/62 счетов и зачет авансов (Бухгалтерия 3.0)

Закрытие периода Обработка документов Инструменты администратора БД Бухгалтерский учет 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Расширение «Оперативное проведение» в 4 раза уменьшает время проведения документов и закрытия месяца. Является комплексным решением проблем 62 и 60 счетов. Оптимизирует проведение при включенной функциональной опции «Раздельный учет НДС». Используется в более 10 организациях уже 2 года. Совместимо с конфигурацией Бухгалтерия 3.0 (+КОРП).

14400 руб.

29.04.2020    19714    62    140    

46

Хранилище файлов на SQL

Инструменты администратора БД Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Управленческий учет Платные (руб)

Привязка файлов / сканов к объектам 1С с сохранением их на SQL-сервере

7200 руб.

09.10.2019    8647    4    8    

7

Завершение сеанса неактивных пользователей на сервере

Инструменты администратора БД Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Обработка позволяет отключить сеанс пользователя 1С при его простое (бездействии).

1000 руб.

30.03.2018    16766    4    5    

5

Брандмауэр для сервера 1С Предприятие 8 - внешнее управление сеансами

Инструменты администратора БД Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Управление возможностью начала и возобновления сеансов пользователей по различным условиям, ограничение общего числа возможных сеансов для работы с информационной базой, резервирование возможности работы с информационной базой определенных польззователей, запрет запуска нескольких сеансов для пользователя, журнализация событий начала (возобновления) и завершения (гибернации) сеансов, ведение списка активных сеансов для информационных баз кластера серверов

3600 руб.

06.02.2017    28335    28    17    

41

Система хранения присоединенных файлов в томах на диске

Инструменты администратора БД Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Управление производственным предприятием Платные (руб)

Конфигурация Комплексная автоматизация 1.1 (и УПП 1.3 тоже) хранит файлы и изображения в справочнике Хранилище дополнительной информации в реквизите Хранилище типа ХранилищеЗначений. Та же история с ВложениямиЭлектроннойПочты. Но при этом присоединенные файлы в Электронном документообороте хранит в томах на диске. Эта доработка позволяет использовать стандартный механизм хранения файлов, изображений и вложений электронных писем в томах на диске. При этом можно разделить тома хранения по объектам конфигурации.

4200 руб.

10.11.2015    58266    81    53    

69

Выгрузка файлов из 1С документооброт 8 в файловую структуру, возможность печати файлов

Пакетная печать Документооборот и делопроизводство (СЭД) Инструменты администратора БД Платформа 1С v8.3 1С:Документооборот Платные (руб)

Потоковая выгрузка файлов из 1С Документооборот 8 в произвольную структуру папок. Возможность печати отобранного списка файлов. Внешняя обработка используется для выгрузки файлов из 1С Документооборот 8 в заданную папку с возможностью создания файловой структуры папок на основе имеющихся данных о владельце файла. Также есть возможность конструирования имени выгружаемого файла на основе данных о реквизитах его владельцев.

3000 руб.

03.06.2013    45077    17    5    

23

SALE! %

PowerTools

Инструментарий разработчика Обработка документов Инструменты администратора БД Корректировка данных Платформа 1С v8.3 Управляемые формы Конфигурации 1cv8 Россия Платные (руб)

Универсальный инструмент программиста для администрирования конфигураций. Сборник наиболее часто используемых обработок под единым интерфейсом.

2400 1920 руб.

14.01.2013    164146    1008    0    

766

"2iS:Интеграция" - Центр управления обменом данными. Сервисная шина предприятия (ESB).

Инструменты администратора БД Обмен между базами 1C Платформа 1С v8.3 Конфигурации 1cv8 Платные (руб)

Программный продукт предназначен для построения единой централизованной системы управления инфраструктурой и интеграционными процессами компании.

6000 руб.

10.08.2012    113757    31    121    

187