Кратко про патч

• Доработано логирование: теперь можно задать уровень фильтрации консольного вывода, при ошибках не дублируются трассировки ошибки при работе из потоков, в дамп сохраняется информация по ошибкам генерации юзер кода workflow.
• Доработана работа с именами объектов БД: теперь Getl старается использовать нативные имена объектов, не беря их в кавычки, различает под какие СУБД нужно приводить к регистру в кавычках в запросах и при получении метаданных. При анализе имен объектов учитываются особенности СУБД, их типы, ключевые поля.
• Доработан механизм выполнения юзер кода в workflow, можно писать свой код, который перед выполнением скриптов шаблонов изменяет значения объектов репозитория, назначает новые значения параметров скриптов или навешивает свой код на события на скрипты, если они поддерживаются.
• Разработан интеллектуальный механизм сравнения полей двух датасетов, который работает в двух режимах, мягком и жестком сравнении. При мягком сравнении учитывается, могут ли значения источника быть записаны в приёмник, даже если у него другие типы полей или размерности, требования по заполнению. В случае успеха структуры считаются подходящими.
• Разработаны интеллектуальные механизмы трансформации списков и именованных списков из текстовых значений в объекты. При анализе текста учитываются кавычки, скобки. Можно передать текстом список в Java/Groovy/SQL формате, можно передать как текст с разделителем запятой, в котором при необходимости часть элементов взяты в кавычки.

Dsl важные изменения

• Свойство sqlEchoLogLevel вынесено с опций движка в опции логирования.

Dsl фичи

• etl: добавлены операторы findRow, addRow, updateRow и deleteRow для работы с одной записью указанной таблицы.
• models: теперь функция readListPartitions возвращает для Map и setOfTables моделей не только значение партиции, но и других полей, если они были указаны в датасете списка партиций для источника в модели.
• models: в элементы датасет моделей добавлены свойства historyPointName и incrementFieldName, в которых можно задать менеджер инкрементов и поле источника, по которому вести инкремент.
• models: в workflow расширена поддержка скриптов условий, инициализации и финализации. Теперь в них можно обращаться к текущей модели Workflow через свойство "currentModel", обращаться к переменным модели через свойство "modelVars", обращаться к переданным параметрам для workflow через свойство "args", задавать значения переменным скриптов с помощью функции "vars" и отслеживать результаты выполненных скриптов через функцию "result". Для облегчения кода в событиях шагов включен доступ без указания пакетов к утилитным классам Getl и выведены алиасы для утилитных функций работы с датами, числами и строками.

Getl фичи

• getl.data.Dataset: добавлена функция compareFields, которая позволяет сравнить поля с другим датасетом.
• getl.jdbc.JDBCDriver: переделан механизм формирования запросов с именами объектов, теперь для подходящих имен объектах в запросах они участвуют без обрамления кавычками.
• getl.jdbc.JDBCConnection: добавлена функция expressionString2Timestamp, которая возвращает выражение для приведения на сервере текстового значения к таймстамп типу.
• getl.utils.ConvertUtils: добавлены функции String2List и String2Map, которые позволяют интеллектуально преобразовать текст в список или именованный список.

Getl баги

• getl.jdbc.JDBCDriver: при получении информации о метаданных объектов БД для разных СУБД маски имен объектов указывались в разном регистре. Теперь для каждого СУБД точно установлено, в каком регистре он работает с масками имен объектов в метаданных.