From bc0a122632def8abcc0c2a7f4adddb981c429dd2 Mon Sep 17 00:00:00 2001 From: evanevanevanevannnn Date: Tue, 11 Nov 2025 02:54:51 +0300 Subject: [PATCH 1/5] moved types mapping documentation into s3 folder --- .../ru/core/concepts/federated_query/import_and_export.md | 6 ------ ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml | 1 + .../federated_query/{_includes => s3}/types_mapping.md | 4 ++++ 3 files changed, 5 insertions(+), 6 deletions(-) rename ydb/docs/ru/core/concepts/federated_query/{_includes => s3}/types_mapping.md (68%) diff --git a/ydb/docs/ru/core/concepts/federated_query/import_and_export.md b/ydb/docs/ru/core/concepts/federated_query/import_and_export.md index 622f6d8c98e9..1763103f700a 100644 --- a/ydb/docs/ru/core/concepts/federated_query/import_and_export.md +++ b/ydb/docs/ru/core/concepts/federated_query/import_and_export.md @@ -38,9 +38,3 @@ SELECT * FROM postgresql_datasource.source_table ## Экспорт данных {#export} На данный момент экспорт данных с использованием федеративных запросов поддержан только для S3-совместимых хранилищ, подробнее смотреть в статье [{#T}](s3/write_data.md#export-to-s3). - -## Отображение типов при импорте и экспорте данных в формате Parquet {#type_mapping} - -При экспорте и импорте данных в формате Parquet YDB использует логическую схему типов Apache Arrow — стандарт, применяемый в Parquet для описания семантики данных. Ниже приведено соответствие между типами YQL и логическими типами Arrow, которые записываются в Parquet-файл. - -{% include [!](_includes/types_mapping.md) %} diff --git a/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml b/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml index e83e36748c2a..d4449be505d0 100644 --- a/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml +++ b/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml @@ -3,5 +3,6 @@ items: - { name: Чтение из бакетов S3 через внешние таблицы, href: external_table.md } - { name: Запись данных в бакеты S3, href: write_data.md } - { name: Форматы данных и алгоритмы сжатия, href: formats.md } +- { name: Отображение типов при импорте и эскпорте данных, href: types_mapping.md } - { name: Партицирование данных, href: partitioning.md } - { name: Расширенное партицирование, href: partition_projection.md } diff --git a/ydb/docs/ru/core/concepts/federated_query/_includes/types_mapping.md b/ydb/docs/ru/core/concepts/federated_query/s3/types_mapping.md similarity index 68% rename from ydb/docs/ru/core/concepts/federated_query/_includes/types_mapping.md rename to ydb/docs/ru/core/concepts/federated_query/s3/types_mapping.md index f10c562cb134..0615ee28aa75 100644 --- a/ydb/docs/ru/core/concepts/federated_query/_includes/types_mapping.md +++ b/ydb/docs/ru/core/concepts/federated_query/s3/types_mapping.md @@ -1,3 +1,7 @@ +# Отображение типов при экспорте данных в формате Parquet + +При экспорте и импорте данных в формате Parquet {{ ydb-short-name }} использует логическую схему типов Apache Arrow — стандарт, применяемый в Parquet для описания семантики данных. Ниже приведено соответствие между типами YQL и логическими типами Arrow, которые записываются в Parquet-файл. + |Тип YQL|Тип Arrow при экспорте|Тип Arrow при импорте|Комментарий| |----|----|----|---| |`Bool`|`UINT8`|`BOOL`, `UINT8`|| From 274ba27a3c9afcf58cc27d60a3419cdcad83ee7f Mon Sep 17 00:00:00 2001 From: Ivan Sukhov Date: Tue, 11 Nov 2025 12:33:20 +0300 Subject: [PATCH 2/5] Update ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml Co-authored-by: Copilot <175728472+Copilot@users.noreply.github.com> --- ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml b/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml index d4449be505d0..0645fdfe0e08 100644 --- a/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml +++ b/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml @@ -3,6 +3,6 @@ items: - { name: Чтение из бакетов S3 через внешние таблицы, href: external_table.md } - { name: Запись данных в бакеты S3, href: write_data.md } - { name: Форматы данных и алгоритмы сжатия, href: formats.md } -- { name: Отображение типов при импорте и эскпорте данных, href: types_mapping.md } +- { name: Отображение типов при импорте и экспорте данных, href: types_mapping.md } - { name: Партицирование данных, href: partitioning.md } - { name: Расширенное партицирование, href: partition_projection.md } From a9c449065839a5f44f1a4f5fc47d6692d2e956c6 Mon Sep 17 00:00:00 2001 From: evanevanevanevannnn Date: Tue, 11 Nov 2025 17:44:05 +0300 Subject: [PATCH 3/5] removed import & export references --- .../ru/core/concepts/federated_query/s3/toc_i.yaml | 10 ++++++++++ .../core/concepts/federated_query/s3/types_mapping.md | 4 ++-- 2 files changed, 12 insertions(+), 2 deletions(-) diff --git a/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml b/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml index 0645fdfe0e08..71b37934f0bb 100644 --- a/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml +++ b/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml @@ -1,4 +1,5 @@ items: +<<<<<<< Updated upstream - { name: Чтение из бакетов S3 через внешние источники данных, href: external_data_source.md } - { name: Чтение из бакетов S3 через внешние таблицы, href: external_table.md } - { name: Запись данных в бакеты S3, href: write_data.md } @@ -6,3 +7,12 @@ items: - { name: Отображение типов при импорте и экспорте данных, href: types_mapping.md } - { name: Партицирование данных, href: partitioning.md } - { name: Расширенное партицирование, href: partition_projection.md } +======= +- { name: Чтение из бакетов S3 через внешние источники данных, href: external_data_source.md } +- { name: Чтение из бакетов S3 через внешние таблицы, href: external_table.md } +- { name: Запись данных в бакеты S3, href: write_data.md } +- { name: Форматы данных и алгоритмы сжатия, href: formats.md } +- { name: Отображение типов при чтении и записи в формате parquet, href: types_mapping.md } +- { name: Партицирование данных, href: partitioning.md } +- { name: Расширенное партицирование, href: partition_projection.md } +>>>>>>> Stashed changes diff --git a/ydb/docs/ru/core/concepts/federated_query/s3/types_mapping.md b/ydb/docs/ru/core/concepts/federated_query/s3/types_mapping.md index 0615ee28aa75..af3b03f03252 100644 --- a/ydb/docs/ru/core/concepts/federated_query/s3/types_mapping.md +++ b/ydb/docs/ru/core/concepts/federated_query/s3/types_mapping.md @@ -1,6 +1,6 @@ -# Отображение типов при экспорте данных в формате Parquet +# Отображение типов при чтении и записи данных в формате Parquet -При экспорте и импорте данных в формате Parquet {{ ydb-short-name }} использует логическую схему типов Apache Arrow — стандарт, применяемый в Parquet для описания семантики данных. Ниже приведено соответствие между типами YQL и логическими типами Arrow, которые записываются в Parquet-файл. +При чтении и записи данных в формате Parquet {{ ydb-short-name }} использует логическую схему типов Apache Arrow — стандарт, применяемый в Parquet для описания семантики данных. Ниже приведено соответствие между типами YQL и логическими типами Arrow, которые записываются в Parquet-файл. |Тип YQL|Тип Arrow при экспорте|Тип Arrow при импорте|Комментарий| |----|----|----|---| From 35acedbd86e99e52a998484c66ecfb796295ed05 Mon Sep 17 00:00:00 2001 From: evanevanevanevannnn Date: Tue, 11 Nov 2025 17:48:34 +0300 Subject: [PATCH 4/5] fixed merge conflict --- .../ru/core/concepts/federated_query/s3/toc_i.yaml | 10 ---------- 1 file changed, 10 deletions(-) diff --git a/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml b/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml index 71b37934f0bb..c5678a884e9c 100644 --- a/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml +++ b/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml @@ -1,13 +1,4 @@ items: -<<<<<<< Updated upstream -- { name: Чтение из бакетов S3 через внешние источники данных, href: external_data_source.md } -- { name: Чтение из бакетов S3 через внешние таблицы, href: external_table.md } -- { name: Запись данных в бакеты S3, href: write_data.md } -- { name: Форматы данных и алгоритмы сжатия, href: formats.md } -- { name: Отображение типов при импорте и экспорте данных, href: types_mapping.md } -- { name: Партицирование данных, href: partitioning.md } -- { name: Расширенное партицирование, href: partition_projection.md } -======= - { name: Чтение из бакетов S3 через внешние источники данных, href: external_data_source.md } - { name: Чтение из бакетов S3 через внешние таблицы, href: external_table.md } - { name: Запись данных в бакеты S3, href: write_data.md } @@ -15,4 +6,3 @@ items: - { name: Отображение типов при чтении и записи в формате parquet, href: types_mapping.md } - { name: Партицирование данных, href: partitioning.md } - { name: Расширенное партицирование, href: partition_projection.md } ->>>>>>> Stashed changes From 494e10c931db1c70fa46a22eb9f62d60da4a3a0a Mon Sep 17 00:00:00 2001 From: evanevanevanevannnn Date: Tue, 11 Nov 2025 18:12:17 +0300 Subject: [PATCH 5/5] renamed file --- .../s3/{types_mapping.md => arrow_types_mapping.md} | 0 ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml | 2 +- 2 files changed, 1 insertion(+), 1 deletion(-) rename ydb/docs/ru/core/concepts/federated_query/s3/{types_mapping.md => arrow_types_mapping.md} (100%) diff --git a/ydb/docs/ru/core/concepts/federated_query/s3/types_mapping.md b/ydb/docs/ru/core/concepts/federated_query/s3/arrow_types_mapping.md similarity index 100% rename from ydb/docs/ru/core/concepts/federated_query/s3/types_mapping.md rename to ydb/docs/ru/core/concepts/federated_query/s3/arrow_types_mapping.md diff --git a/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml b/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml index c5678a884e9c..d5124b029b06 100644 --- a/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml +++ b/ydb/docs/ru/core/concepts/federated_query/s3/toc_i.yaml @@ -3,6 +3,6 @@ items: - { name: Чтение из бакетов S3 через внешние таблицы, href: external_table.md } - { name: Запись данных в бакеты S3, href: write_data.md } - { name: Форматы данных и алгоритмы сжатия, href: formats.md } -- { name: Отображение типов при чтении и записи в формате parquet, href: types_mapping.md } +- { name: Отображение типов при чтении и записи в формате parquet, href: arrow_types_mapping.md } - { name: Партицирование данных, href: partitioning.md } - { name: Расширенное партицирование, href: partition_projection.md }