Загрузка данных Excel (XLSX, XLS, ODS)

1. Перейдите к редактированию рабочей области, в которую необходимо загрузить данные. Нажмите на блок Подготовка данных и ML.

   

2. В появившемся интерфейсе Jupyter Lab загрузите необходимые файлы Excel.

   

Результат:

3. Нажмите Новый лаунчер.

   

4. В списке доступных лаунчеров, выберите Amphi→New Pipeline. Это создаст новый пайплайн Amphi.

   

5. В окне редактирования пайплайна, перетащите узел Excel/ODS File Input из панели инструментов на рабочую область.

   

6. Нажмите , чтобы перейти к настройке узла.

7. В окне настройке узла Excel/ODS File Input, задайте опцию File path, выбрав загруженный файл. Для простых сценариев загрузки, этого достаточно, чтобы система автоматически подобрала остальные параметры загрузки. При необходимости, вы можете вручную задать другие парметры загрузки, например источник файла (локальный / URL / S3); список листов; номер строки заголовка; количество строк которые необходимо загрузить / пропустить и т.д.

   

   Так же можно перетащить файл из списка файлов на рабочую область пайплайна

   

8. Нажмите кнопку Input-узла, чтобы проверить корректность загрузки данных. При удачном получении данных, консоль пайплайна отобразит загруженную таблицу (Pandas DataFrame).

При импорте журнала событий, DataFrame на выходе Input-узла содержит колонки start и end c временными штампами в формате text. Для корректного экспорта, необходимо сконвертировать эти колонки в формат Pandas timestamp. Для этого:

1. Добавьте на рабочую область трансформационный узел Python Transfoms и подключите его вход к выходу Input-узла.

2. Добавьте следующий Python-код в режиме редактирования этого узла:

 
def convert_columns_to_timestamp(df: pd.DataFrame, columns, *, errors="coerce", utc=False) -> pd.DataFrame:    result = df.copy()    for col in columns:        result[col] = pd.to_datetime(result[col], errors=errors, utc=utc)    return result output = convert_columns_to_timestamp(input, ["start", "end"])

1. В окне редактирования пайплайна, перетащите узел Database Output из панели инструментов на рабочую область.

2. Нажмите , чтобы перейти к настройке узла.

3. В окне настройке узла Database Output, укажите следующие необходимые настройки:

   Опция	Описание
   Host	Имя хоста СУБД
   Port	Номер порта
   Database Name	Имя базы данных, соответствет UUID рабочей области без дефисов и добавленым спереди символом нижнего подчёркивания. Например: — UUID рабочей области: fa776f95-df6c-4118-9d04-5f95fad4b666 — Имя базы данных: _fa776f95df6c41189d045f95fad4b666
   Schema	Схеба БД, по умолчанию public
   Username	Имя пользователя БД
   Password	Пароль
   Database Type	Тип базы данных (выбрать PostgreSQL)
   Table Name	Таблица в которую необходимо добавить загруженные данные. Для создания новой таблицы, раскрыть выпадающий список, ввести имя таблицы в поле Custom и нажать + Add, затем выбрать добавленную таблицу в списке.
   If Table Exists	Что делать, если таблица уже существует (выдать ошибку / пересоздать / дописать в существующую)?
   Mode	Insert

   

4. Соедините выход трансформационного узла с входом Output-узла.

5. Нажмите . (Run pipeline).

В случае успешной загрузки данных, консоль пайплайна отобразит уведомление.

Перейдите к блоку Таблицы окна редактирования рабочей области, и найдите добавленную таблицу в списке доступных внутренних источников: