Смена мажорной версии

В архитектуру классов были внесены множественные важные изменения, требуемые для расширения функциональности при разработке паттернов etl/elt процессов и для работы Getl в составе веб портала управления репозиториями продукта EasyLoader. Это привело к смене мажорной версии.

Dsl фичи

• main.sql: при выполнении sql внутри кода JDBC таблицы в выполняемый скрипт помимо переменных schema_name и table_name будет так же передана переменная full_table_name.
• main: добавлена функция replaceGroupName для замены в имени объекта репозитория группы на указанную.
• main: в getl-properties.conf в раздел logging добавлено свойство printStackTraceError, в котором можно включить трассировку кода ошибок на консоль (по умолчанию она отключена).
• jobs: в jdbc.RunSql добавлен Map параметр ext, в котором можно указать значения для переменных, используемых в выполняемых скриптах.

Getl фичи

• getl.jdbc.TableDataset: добавлен метод retrieveOpts для обновления опций таблицы с метаданных БД
• getl.vertica.VerticaTable: при вызове метода retrieveOpts в createOpts обновляется выражение партиционирования таблицы partitionBy.
• getl.jdbc.JDBCConnection: для получаемых таблиц при вызове retrieveDatasets теперь сразу считывается набор полей и опций.
• getl.jdbc.JDBCConnection: добавлены методы для создания и удаления схемы в БД.
• getl.vertica.VerticaConnection: добавлена поддержка создания и удаления схем в БД.

Dsl баги

• RepositorySave: при выполнении методов сохранения объектов репозитория скидывались пути логирования jdbc соединений и файловых менеджеров.
• main: метод linkDatasets не связывал датасеты по указанным именам групп.
• models.mapTables: добавлен метод addMapTables для группового добавления в модель таблиц из репозитория по указанной маске имени.
• models.monitorRules: добавлен метод addRules для группового добавления в модель запросов из репозитория по указанной маске имени.
• models.referenceVerticaTables: добавлен метод addReferenceTables для группового добавления в модель таблиц из репозитория по указанной маске имени.
• models.setOfTables: добавлен метод addTables для группового добавления в модель таблиц из репозитория по указанной маске имени.
• webportal: Переделаны аннотации для Spring, не корректно брались поля соединений и датасетов, не виделось свойство extended у полей датасасетов.

Getl баги

• getl.jdbc.SQLScripter: при выполнении скрипта локальные vars переменные перекрывались внешними переменными extVars. Исправлено, чтобы vars были приоритетнее при работе со значениями.
• getl.files.Manager: при работе с локальными директориями и файлами возникала ошибка, если менеджер не подсоединен к источнику. Теперь работа с локальными объектами не зависито от состояния соединения.
• getl.vertica.VerticaDriver: при создании временных CSV файлов для bulk load по умолчанию была отключена опция escaped. Это приводило к тому, что при загрузке через COPY использовался FCSVParser, который игнорирует опцию контроля длины значений полей ENFORCELENGTH и при превышении длины поля вставляет NULL без ошибки. Теперь по умолчанию драйвер Vertica всегда включает для CSV файлов escaped, чтобы контролировать длину значений полей и не терять данные при загрузке.