Main change

• Since Google translate shows undoubted success in translating texts of high quality, I translate the project into my native Russian.

Новые фичи Dsl языка

• engine.RepositorySave: добавлены методы "initRepositoryTypeProcess" и"doneRepositoryTypeProcess", с помощью которых можно инициализировать и финализировать обработку сохранения объектов в своем классе наследнике от RepositorySave, методы вызываются для каждого типа объектов, указанного в аннотации.
• models.referenceFiles: добавлено свойство "localUnpack", при включении которого распаковка архива происходит на локальной машине, а затем файлы доставляются уже на приемник. Это позволяет доставлять эталонные файлы в те файловые системы, которые не могут на своей стороне распаковать архив, например FTP или HDFS.
• fileman.processing: добавлено свойство "processingDirectly", при включении которого обрабатываемый файл не доставляется на локальную машину, а коду процессинга передается только его имя и относительный маршрут. Включайте это свойство, если требуется организовать многопоточный процессинг файлов в HDFS на стороне Hadoop.

Новые фичи в классах

• getl.config.ConfigSlurper: когда параметр в конфигурации указывал на объект репозитория, то в конфигурационный файл сохранялась объектная ссылка, теперь если объект зарегистрирован в репозитории, в файл сохраняется имя объекта в репозитории, а если не зарегистрирован, то свойство не сохраняется в файл.
• getl.files.Manager: для метода "buildListFiles" добавлено свойство "takePathInStory", при включении которого в истории проверяется не только имя файла, но и относительный путь к нему.
• getl.utils.FileUtils: добавлен метод "PrepareDirPath", который удаляет слэш, если он стоит в конце пути директория.
• getl.files.HDFSManager: добавлено свойство "replication", которое устанавливается при соединении к HDFS источнику и задает количество реплик копируемых файлов в файловой системе Hadoop.
• getl.files.Manager: добавлен метод "uploadDir", с помощью которого можно загрузить всю иерархию директориев и файлов на источник из установленной текущей локальной директории.
• getl.stat.ProcessTime: добавлены методы "run" and "clear" с помощью которых можно запустить профилирование указанного кода и очистить результаты профилирования.
• getl.utils.Path: произведена оптимизация работы с переменными пути с типами дата, время и дата-время. Теперь при компиляции пути для них кэшируются парсеры разбора даты-времени, которые используются при анализе имен файлов. Ранее такие парсеры создавались каждый раз при анализе для каждого имени файла, что при обработки большого количества файлов в процессах работы с файлами замедляло работу и увеличивало количество выделяемых объектов, а значит и нагрузку на сборщик мусора.

Исправления ошибок Dsl языка

• engine.RepositorySave: исправлена ошибка, когда при генерации типов объектов не учитывались зависимости между ними, например, наборы данных могли быть обработаны раньше, чем соединения, что вызвало бы ошибку при их ссылке на соединения.
• engine.RepositorySave: исправлена ошибка, когда при вызове метода с аннотацией постоянно очищался весь репозиторий, теперь он очищается только для того типа объектов, который указан в аннотации метода.

Исправления ошибок классов Getl

• getl.h2.H2Connection: исправлена ошибка, когда в свойстве "connectDatabase" стоял путь к локальному файлу, в нем была использованная переменная среды ОС и при попытке соединения путь не преобразовывался в верный.
• getl.files.Manager: исправлена ошибка, когда при указании каталога с разделителем в конце для корневого пути это приводило к ошибкам в работе с источником.
• getl.proc.sub.FileListProcessing: исправлена ошибка, когда включенный флаг "takePathInStory" игнорировался при построении списка файлов.
• getl.vertica.VerticaConnection: при подключении внешнего кластера к Vertica пароль используемого логина подключения записывался в файл истории команд - теперь он записывается в виде звездочек.
• getl.utils.DateUtils: при разборе строки метод "ParseDate" не корректно парсил даты, если в формате были заданы миллисекунды.