22 проекта и 400 млн строк: подводим итоги первой сдачи отчетности по 577-П в XBRL-CSV

Первая отчетность показала: без методологической и технической поддержки компаниям сложно. Задача Фабрики XBRL-CSV — снять эту нагрузку на всех этапах. Наши пользователи сдали отчетность - либо реальную, либо в тестовый личный кабинет - безошибочно и в полном объеме. Рассказываем, как помогла Фабрика: с ключевыми показателями и полезными фишками.

⭐ Реализовано 22 проекта, из них 7 — с банками 

Среди брокеров и управляющих компаний с лицензией профучастника часть компаний уже сдавала реальную отчетность. По объему данных они распределяются следующим образом: около 60% — компании с объемом до 1 млн строк, порядка 30% — от 1 до 10 млн строк, и примерно 10% — с десятками миллионов строк. 

Банкам среди наших пользователей запросы ещё не поступали. Однако ожидается, что с начала 2027 года запросы начнут получать все.

⭐ 5 ключевых документов объединены в 1

Мы подготовили методологию — файл, объединяющий все 5 регулирующих документов. В нём описано, куда переносить данные, какие поля обязательны для заполнения, какие показатели связаны. Также для пользователей открыта база знаний, куда вносятся ответы ЦБ на направленные вопросы. 

Интерфейс Фабрики тоже помогает с заполнением: добавлена детализация значений выпадающих списков, подсветка обязательных ячеек и другие возможности.

⭐ Загрузка данных в СУБД: 1 млн строк ≈ 5 минут

Фабрика XBRL-CSV работает на PostgreSQL. 

Компании с небольшими или средними объемами могут использовать привычные Excel или CSV: выгрузить данные из внутреннего учёта, загрузить в Фабрику по шаблонам, а данные отобразятся в СУБД.  У компаний с объемами от 10 млн записей вариант только один: загружать напрямую в базу данных. Excel уже не справится. 

В обоих случаях Фабрика проводит первичную проверку данных в СУБД.

⭐ Контрольные соотношения онлайн, правки — мгновенно

Тексты контрольных соотношений, заложенных в таксономию, сложны для восприятия. Например, контроль должен подсветить поручения, которые есть в разделе со сделками, но не попали в раздел 2. Предупреждение звучит так: «В разделе 2 что-то пропущено», без указания, что именно. Для клиентов Фабрики XBRL-CSV такие контроли переписаны: техническая логика не меняется, но предупреждение детализируется — видно, какое именно поручение не попало в раздел 2. Время на поиск и исправление ошибки сокращается до минуты.

ЦБ может менять контроли — добавлять новые, корректировать работу или исключать из проверки. На момент подведения итогов регулятор исправил 63 контроля из 324. Все изменения уже доступны в Фабрике: они обновляются онлайн, и пользователям не нужно следить за изменениями и вручную вносить правки.

⭐ Производительность: валидация 400 млн записей ≈ 3 часа, выгрузка архива для ЦБ ≈ 5 часов

Помимо методологических контролей, есть еще около 20 технических, то есть тех контролей, которые проверяют формат, структуру и логику заполнения отчетов. Фактически Фабрике нужно проверить каждую ячейку. И для отчета в сотни миллионов записей временные затраты будут ощутимы. 

Чтобы повысить производительность при работе с большими объемами данных, оптимизировали функционал проверок. Например, можно запустить валидацию отдельного раздела. По последним замерам: скорость валидации 400 млн записей выросла в 4 раза и теперь занимает 3 часа. 

⭐ Что дальше

Главный вывод первой сдачи: 577-П в XBRL-CSV — сложный, но уже проходимый маршрут.

В наших планах  — дальнейшая оптимизация скорости работы с большими объемами данных, развитие автоматического подписания и шифрования архивов, а также автоматическая отправка данных в личный кабинет ЦБ, как это реализовано для регулярной отчетности. Для небольших компаний сохраняется возможность работы через Excel или CSV с переходом на прямую загрузку в PostgreSQL при росте объемов. 

Подробнее - в нашем совместном вебинаре с НАУФОР:

---

Ещё по теме