Настройка пакета импорта

В Business Studio есть возможность обмена данными с другими программами. Настройка правил обмена осуществляется с помощью справочников импорта (в меню администратора системы Главное меню → Администрирование → группа меню Импорт/Экспорт → Справочники импорта). В справочнике "Пакет импорта" можно создавать и редактировать объекты - пакеты импорта, которые описывают правила импорта/экспорта данных (Рис. 1).

Пакеты импорта предназначены для настройки правил обмена Business Studio с другими программами, которые имеют возможность обмена с помощью файлов MS Excel.

Также возможен импорт и экспорт самих пакетов импорта с использованием встроенного пакета импорта "ИмпортИмпорта".

Кроме того, задача автоматического обмена данными с другими приложениями может быть осуществлена с использованием технологии OLE. Описание обеспечения возможности работы с приложением Business Studio через OLE дано в главе Руководство технического специалиста → Работа с Business Studio через OLE.

В Business Studio есть возможность обмена данными с другими программами. Настройка правил обмена осуществляется с помощью справочников импорта (в меню администратора системы Главное меню → Администрирование → группа меню Импорт/Экспорт → Справочники импорта). В справочнике "Пакет импорта" можно создавать и редактировать объекты - пакеты импорта, которые описывают правила импорта/экспорта данных (Рис. 1).

Пакеты импорта предназначены для настройки правил обмена данными Business Studio с другими программами (их файлами), например MS Excel, MS Visio и др.

В системе присутствует встроенный механизм импорта (и экспорта) из файлов MS Excel, а также, благодаря системе плагинов, возможность импорта информации из файлов других типов, в том числе графической, например, из MS Visio.

По умолчанию с Business Studio поставляются плагины (представляют собой DLL-библиотеки) для импорта из MS Visio и ARIS и настроенные для работы с ними пакеты импорта.

Пользователям доступно написание своих плагинов на любом доступном языке программирования (подробнее об этом см. Плагины импорта), и создание своих пакетов импорта для импорта информации из этих и других систем.

Выбор источника данных (встроенный импорт из MS Excel и конкретный плагин) для генерации пакета импорта осуществляется в самом начале его создания, подробнее об этом см. Выбор источника данных для генерации пакета импорта.

Подробнее об импорте данных см. в Импорт данных, подробнее об импорте графических данных см. в Импорт графических данных.

Также возможен импорт и экспорт самих пакетов импорта с использованием встроенного пакета импорта "ИмпортИмпорта".

Кроме того, задача автоматического обмена данными с другими приложениями может быть осуществлена с использованием технологии OLE. Подробнее см. Работа с Business Studio через OLE.

Импорт данных будем рассматривать на примере импорта из файла MS Excel, как самом распространённом. При этом описанное ниже применимо с определёнными поправками и для файлов других типов.

Ниже рассмотрим требуемую для импорта структуру файла MS Excel.

Файл импорта MS Excel может содержать несколько листов. Каждый лист файла - это отдельная таблица, обычно характеризующая отдельный справочник системы. Таким образом, из одного файла MS Excel можно загружать данные сразу в несколько справочников. Первая строка таблицы - перечень наименований полей. Затем идут значения этих полей. Количество записей равно количеству загружаемых объектов.

Например, в Таблице 1 приведен пример файла MS Excel, где первый лист файла - это таблица физических лиц, в которой указаны поля Фамилия, Имя, Отчество, Дата рождения, Комментарий (данные справочника "Физические лица"). Второй лист файла - это таблица контактов физических лиц, в которой указаны поля Тип контакта, Контакт (данные справочника "Контакты ФизЛиц") и поля Фамилия, Имя, Отчество (для определения физического лица, к которому относится данный контакт).

Создание и редактирование пакетов импорта осуществляется в справочнике "Пакет импорта".

Справочник пакетов импорта можно открыть из меню администратора системы (см. Администрирование системы) (Главное меню → Администрирование → группа меню Импорт/Экспорт → Справочники импорта → Пакет импорта).

В Окне справочника "Пакет импорта" гиперссылки Выполнить экспорт и Выполнить импорт служат соответственно для экспорта и импорта данных по выбранному пакету импорта.

При создании пакета выдается диалоговое окно с предложением "Выбрать источник данных для генерации пакета импорта".

При согласии открывается окно для выбора типа источника данных из имеющихся вариантов.

После выбора типа источника данных открывается диалоговое окно для выбора конкретного файла данного типа для получения перечня внешних классов и их свойств. В этом случае при редактировании пакета система позволит пользователю выбирать информацию из списков а не писать названия классов и параметров вручную.

Например, в случае выбора варианта «Встроенный импорт из документов MS Excel» откроется окно для выбора файла MS Excel соответственно. Далее будут автоматически заполнены Этапы импорта по названиям листов выбранного файла; будет предложено выбрать классы приемники для каждого этапа; также будут заполнены списки колонок листа по первым строкам листов. В дальнейшем для заполнения параметра «Внешний класс»  для этапов импорта, и параметра «Внешний параметр» в его описании можно будет использовать выбор из заполненных системой на этом этапе списков.

При отказе от выбора файла открывается пустое Окно свойств пакета импорта. В этом случае добавление этапов импорта и заполнение полей колонок возможно только вручную. С принципами работы в Окне свойств пакета импорта можно ознакомиться ниже в пункте

При создании собственного пакета импорта рекомендуется выбирать файл для генерации.

Настройка пакета импорта выполняется в Окне свойств пакета импорта (Рис. 2).

В поле Название вводится произвольное название пакета импорта.

Название пакета импорта должно быть уникальным.

Нажатие на кнопку Импорт/Экспорт открывает окно Выполнение импорта (см. Bыполнение импорта).

Этапы импорта разделяют импорт параметров по классам и устанавливают порядок импорта (Рис. 3).

В поле № задается порядок выполнения этапа импорта.

Порядок выполнения этапов важен: в первую очередь необходимо загружать самостоятельные справочники, потом ссылающиеся на них списки и справочники.

В поле Внешний класс задается наименование внешнего классапараметра, например столбец базы данных или листа MS Excel, параметр фигуры MS Visio., например таблица базы данных, лист MS Excel или фигуры одного типа MS Visio.

Значения поля Внешний параметр  чувствительны к регистру. Например, значения "Физлица" и "физлица" не являются идентичными.

В поле Класс задается класс (или справочник), в который будут импортироваться объекты на данном этапе.

Добавление нового этапа происходит из контекстного меню. При этом откроется окно выбора источника (список листов, которые содержались в файле генерации, если он был выбран при создании пакета), затем окно выбора класса приемника. Поле № заполняется автоматически, при необходимости его значение можно изменить.

Обязательно соблюдение порядка этапов импорта. Для списков сначала импортируются справочники, являющиеся их владельцами. В случае если владелец найден, будет произведен поиск объекта справочника элементов списоков (в рассматриваемом примере - "БизнесМодель.КонтактыФизЛиц") по ключевым параметрам. Далее импорт идет аналогично импорту справочников. Если объект по ключевым параметрам найден, будет произведено обновление неключевых параметров ("Контакт" в данном случае). В случае, если при импорте владелец объекта по ключу не будет найден, то дальнейшее поведение зависит от состояния опции импорта «Пропускать объекты без Владельца», подробнее об опциях импорта см. Опции импорта

При импорте иерархических справочников первым этапом должны импортироваться объекты-родители, потом объекты-потомки. В процессе импорта иерархического справочника ищется родитель объекта импорта. В случае если при импорте родитель объекта по ключу не будет найден, то дальнейшее поведение зависит от состояния опции импорта «Создавать объекты в корне, если не найден родитель», подробнее об опциях импорта см. Опции импорта если родитель не найден, будет выдана ошибка и объект импортирован не будет.

После создания этапа необходимо описать его, т.е. настроить соответствия между внешними параметрами и параметрами Business Studio. В зависимости от вида класса приемника описание этапов импорта содержит несколько вкладок (Рис. 4).

Перечень вкладок окна и их назначение приведены в Таблице 2.

Принципы настройки соответствия параметров на всех вкладках настройки пакета импорта схожи. Задается соответствие между параметром Business Studio и параметром внешней системы. В случае если в BusinessStudio используется объектный параметр, который нельзя однозначно привести к строковому параметру внешней системы, то задается соответствие на нижнем уровне только между простыми параметрами BusinessStudio и соответствующими им параметрами внешней системы.

В столбце  Внешний параметр в случае, если в качестве источника данных выбран файл MSExcel, указывается заголовок колонки листа. Значение нажатием на кнопку  или вводится вручную с клавиатуры (см. Рис 9). Выбор колонок листа из списка возможен только в случае, когда при создании пакета импорта был выбран файл генерации.

При вводе с клавиатуры необходимо учитывать, что название чувствительно к регистру.

Пример ввода названия колонки:

"ЗаголовокКолонки"

В столбце Параметр указывается параметр класса Business Studio. Выбирается нажатием на кнопку .

Добавление, редактирование и удаление параметров происходит при помощи пунктов контекстного меню. Описание назначения его пунктов приведено в Таблице 2.

Принципы задания соответствий также показаны на примере ниже, см.  Пример задания соответствий

На примере данных, которые содержит Таблица 1, рассмотрим принципы задания соответствий параметров. На Рис. 2 представлена схема импорта физических лиц на основе рассматриваемого примера.

Сначала необходимо импортировать физических лиц, поэтому первым этапом будет импорт строк из листа "Лист 1" в справочник "БизнесМодель.Физлица". Пусть в данном файле импорта по колонкам Фамилия, Имя, Отчество можно однозначно определить импортируемый объект. Тогда ключевыми параметрами объекта "Физлицо" будут поля "Фамилия", "Имя", "Отчество". Каждое из этих полей можно представить в виде конечной строки. Параметры "Дата рождения" и "Комментарий" не будут являться в данном случае ключевыми. Каждое из этих полей также можно представить в виде конечной строки.

В случае если уникальность по названию не соблюдается и ключ получается слишком сложный, можно использовать одно поле в качестве ключевого. Например, это может быть созданный для этих целей пользовательский параметр или параметр "guid".

Параметр "guid" формируется системой автоматически при создании нового объекта. 

Параметр "guid" должен быть уникальным для всех объектов системы.

Длина строкового параметра "guid" ограничена 40 символами.

Для ознакомления со структурой данных Business Studio предназначена Объектная модель (см. Объектная модель).

Данные можно импортировать только в хранимые параметры. ==== ==== 

В процессе импорта (Рис. 3) по ключевым параметрам "Фамилия", "Имя", "Отчество" в справочнике "БизнесМодель.Физлица" ищется объект. В случае если такой объект существует, произойдет обновление неключевых параметров "Дата рождения", "Комментарий". В случае если по ключевым параметрам объект не найден - будет создан новый объект.

Далее необходимо импортировать список контактов физических лиц. То есть вторым этапом будет импорт строк листа "Лист 2" в класс элементов списков "БизнесМодель.КонтактыФизЛиц" из листа "Лист 2" файла импорта. Владельцем списка "БизнесМодель.КонтактыФизЛиц" является справочник "БизнесМодель.Физлица". Ключ объекта справочника "БизнесМодель.Физлица" - набор простых параметров "Фамилия", "Имя", "Отчество". Таким образом, на данном этапе задается ключ владельца импортируемого объекта.

Однозначно определить контакт в файле импорта позволяет набор колонок Фамилия, Имя, Отчество, Тип контакта. Одним из ключевых параметров контакта является объектный параметр "Владелец", но его нельзя представить в виде конечной строки. Ключом параметра "Владелец" является набор параметров "Фамилия", "Имя", "Отчество", каждый из которых можно представить в виде конечной строки. Другим ключевым параметром контакта является объектный параметр "ТипКонтакта", который также нельзя представить в виде конечной строки. Однозначным идентификатором объекта "ТипКонтакта" является параметр "Название", который можно представить в виде конечной строки.

Таким образом ключом импортируемого объекта будет являться набор двух сложных параметров "Владелец\{Фамилия}{Имя}{Отчество}" и "ТипКонтакта\Название".

То есть любому сколь угодно сложному объектному параметру можно поставить в соответствие набор текстовых полей, указав "путь" до каждого. Дополнительные параметры у сложного параметра всегда являются ключевыми полями (позволяющими однозначно его идентифицировать). Также дополнительным параметром может являться объектный параметр, в свою очередь содержащий набор полей (опять же, ключевых).

Параметр "Контакт" не будет являться в данном случае ключевым. Поле Контакт можно представить в виде конечной строки.

На Рис. 4 представлена схема импорта контактов физических лиц на основе рассматриваемого примера.

В процессе импорта из листа "Лист 2" в элементы списков "БизнесМодель.КонтактыФизЛиц" по ключевым параметрам "Фамилия", "Имя", "Отчество" в справочнике "БизнесМодель.Физлица" ищется владелец объекта импорта. В случае если владелец не найден - будет выдана ошибка и объект импортирован не будет.

Пример создания пакета импорта с настройкой соответствий для сложных параметров описан в главе Пример создания пакета импорта.

Импорт графических данных позволяет импортировать графическую информацию, т.е. создает диаграмму (или диаграммы) со всеми объектами и связями. Настройка такого импорта производится на вкладке Графический импорт в области описания этапа импорта (см. Рис. 11).

Обычно импорт графических данных ведётся в конкретные справочники группы «База.СтруктураФайла».

Все объекты (в том числе объекты, в которых находятся диаграммыкоторых мы будем импортировать) и связи должны быть уже созданы на момент графического этапа, иначе при открытии диаграммы присутствующие на ней в графическом виде, но отсутствующие в базе данных объекты будут удалены или вызовут ошибки. Исключением являются некоторые связи, объекты из справочника «Список свойств элементов диаграмм», которые требуют загрузки с помощью дополнительного этапа после этапа графического импорта, так как для полноценной работы они требуют информацию об Id созданных на диаграмме фигур.

С помощью команд «Добавить строку соответствия» и «Удалить строку соответствия» контекстного меню, вызываемого от области задания соответствий, можно добавлять и удалять строки этих соответствий.

При добавлении строки на первом этапе предлагается указать наименованием внешней фигуры, а на втором – выбрать соответствующую ей фигуру Business Studio.

Каждая строка соответствия – это объект колонки, поэтому в работе с ней применимы механизмы, описанные в п. Окно редактирования объекта колонки

Объект колонки задает соответствие между внешним параметром (например, колонкой листа MS Excel) и параметром класса Business Studio. Если соответствия носят сложный, многоуровневый характер и имеют дополнительные опции, то настраивать их надо через форму Объекта колонки. Для простых соответствий настройка осуществляется через форму Пакета импорта (в этом случае в колонке «Параметр» значение выбирается в окне выбора, вызываемом по кнопке  в правой части поля ввода значения).

Настройка дополнительных параметров для сложного параметра выполняется в Окне редактирования объекта колонки (Контекстное меню строки списка параметров импорта → Свойства) (Рис. 10).

В поле Название указан уникальный идентификатор колонки импорта.

Путь до корневого параметра указан в поле Параметр.

Перечень параметров, представленных в Окне свойств объекта колонки и их описание приведены в Таблице 3.

Название пункта	Описание
Название	Поле содержит уникальный идентификатор колонки импорта, генерируемый системой автоматически.
Внешний параметр	Если Окно свойств объекта колонки параметров вызвано от простого параметра, то поле содержит наименование внешнего параметра (для MS Excel – заголовок колонки листа), если от сложного – поле не заполнено.
Параметр	Если Окно свойств объекта колонки параметров вызвано от простого параметра, то поле содержит наименование конечного параметра Business Studio, если от сложного – наименование объектного параметра, в этом случае соответствия по конечным параметрам указываются на вкладке Список колонки.
Значение по умолчанию	Значение, которым будет заполнен параметр класса Business Studio по умолчанию при отсутствующем значении внешнего параметра или отсутствии самого внешнего параметра. Следует учитывать, что механизм значения по умолчанию работает только с параметрами простого типа (не объектными).
Перевод значений	Для простых параметров. Открывает окно выбора объекта из справочника «Переводы значений импорта». В Окне свойств объектов данного справочника можно задать на вкладке Перевод значений правила перевода значений внешнего параметра из файла-источника данных в значения параметра Business Studio. Перевод значений целесообразно применять в случаях, когда терминология в программе-источнике данных и Business Studio отличается. Например, если в источнике данных тип контакта называется «E-Mail», а в Business Studio – «Электронная почта», то настройки правила перевода будут следующими:
Условие значения колонки	Для простых параметров. В поле задаётся условие на значение внешнего параметра. Если условие выполняется – значение внешнего параметра загружается в соответствующий параметр Business Studio.  Если условие не выполняется: 1.        Для параметров из состава ключа – объект с таким значением внешнего параметра не будет импортирован в Business Studio. 2.        Для параметров не из состава ключа -  объект с таким значением внешнего параметра будет импортирован в Business Studio, но значение соответствующего этому внешнему параметру параметра Business Studio останется пустым. В качестве значения этого поля можно применять как конкретные значения (если их несколько, они разделяются символом «|»), так и регулярные выражения (подробнее с синтаксисом регулярных выражений можно ознакомиться в соответствующей статье Википедии). Пример условия с конкретными значениями (удовлетворяют те объекты, у которых значение внешнего параметр «Фамилия» - Иванов или Петров): Иванов|Петров Пример условия с использованием регулярного выражения (удовлетворяют те объекты, у в значении внешнего параметра «Фамилия» нет цифр – проверка корректности импортируемой информации): /d

Таблица 3. Параметры **Окна свойств** объекта колонки

Необходимо учитывать порядок осуществления операций с импортируемыми данными: если для параметра одновременно значения всех или нескольких из числа полей «Перевод значений», «Условие значения колонки», «Значение по умолчанию» то сначала происходит перевод значений в соответствии с заданным в поле «Перевод значений», затем проверка на соответствие полученной в результате перевода строки установленным в поле «Условие значения колонки» условиям, а после этого, если требуется, установка значений по умолчанию.  

Перечень соответствий конечных параметров сложного параметра задаётся на вкладке «Список колонки», при задании соответствий здесь действуют те же правила и ограничения, что и при задании соответствий для простых параметров, см. Настройка соответствий между параметрами файла-источника данных и параметрами класса Business Studio.

Опции импорта позволяют управлять правилами импорта данных в нестандартных ситуациях.

Параметр «Опции импорта» может быть выведен на показ в справочнике «Пакеты импорта» с помощью пункта меню Действия → Настройка колонок.

Для получения возможности редактировать значения перечисления из Окна справочника нужно включить опцию Редактирование параметров объектов из меню Действия. Если эта опция включена, опции пакета можно редактировать в выпадающем списке (о работе с выпадающими списками см. http://byte_srv:8080/doku.php/ru/manual/interface/options#значение_множество).

После редактирования опций следует сохранить пакет импорта по соответствующей кнопке в верней части Окна справочника пакетов импорта.

Описание работы опций импорта приведено в таблице ниже. По умолчанию для новых пакетов опции импорта отключены.

Для выполнения импорта или экспорта в меню администратора системы (см. Администрирование системы) нужно открыть справочник "Пакет импорта" для импорта (Главное меню → Администрирование → группа меню Импорт/Экспорт → Импорт) или для экспорта (Главное меню → Администрирование → группа меню Импорт/Экспорт → Экспорт). Будет открыто окно, в котором нужно будет выделить пакет импорта и нажать на кнопку Выбрать. После этого будет открыто окно Выполнение импорта (Рис. 12).

В параметре "Пакет импорта" указывается пакет, по которому будет производиться импорт или экспорт.

Поля списка этапов импорта:

• № - определяет очередность выполнения этапа импорта;
• Объект импорта - уникальное название этапа импорта;
• Активен - устанавливает активность этапа импорта;
• Внешний класс - название листа файла, из которого происходит импорт на данном этапе;
• Класс - системное наименование класса Business Studio, в который происходит импорт на данном этапе;
• Ошибки критические - текст критических ошибок, возникавших в процессе прохождения этапа импорта;
• Состояние этапа - результат прохождения этапа импорта: не выполнялся, тест не прошел, тест прошел с ошибками, успешно.

Кнопка Включить всё включает активность всех этапов импорта. Такая операция доступна, если активность хотя бы одного из этапов отключена. Если активность всех этапов включена, название кнопки меняется на Выключить всё, и нажатие на нее отключает активность всех этапов импорта.

Запуск импорта файла осуществляется в окне Выполнение импорта (Рис. 12) на вкладке Импорт (Рис. 13) .

Установленный флажок Проверка уникальности при первом запуске включает проверку существования объекта при загрузке файла импорта по ключевым полям. Это ускоряет загрузку больших массивов информации.

Снятие флажка Проверка уникальности при первом запуске нужно производить с большой осторожностью и только для пустых баз и при полной уверенности в отсутствии повторяющихся объектов по ключевым параметрам. Иначе при импорте возможны ошибки.

После нажатия на кнопку Выполнить импорт на экран будет выведено диалоговое окно выбора файла для импорта. После выбора файла запускается процесс импорта. Если в процессе импорта возникнут ошибки, будет выдано окно Ошибки критические.

Рекомендуется производить резервное копирование базы данных перед выполнением импорта из файла.

В итоговой строке окна Выполнение импорта отображается состояние и результат процесса выполнения импорта. ==== ==== 

Запуск импорта файла осуществляется в окне Выполнение импорта (Рис. 12) на вкладке Экспорт (Рис. 14) .

После нажатия на кнопку Выполнить экспорт на экран будет выведено диалоговое окно для ввода имени нового файла для экспорта. После задания имени файла запускается процесс экспорта. Если в процессе экспорта возникнут ошибки, будет выдано окно Ошибки критические.

В итоговой строке окна Выполнение импорта отображается состояние и результат процесса выполнения экспорта.