Consulta federada entre ambientes
O Google Cloud descreve uma arquitetura de Lakehouse que permite ao BigQuery federar metadados de catálogos compatíveis com a especificação aberta Apache Iceberg REST Catalog. O conteúdo cita Databricks Unity Catalog, Snowflake Horizon Catalog e AWS Glue Data Catalog como plataformas compatíveis.
Segundo a publicação, o Lakehouse runtime catalog sincroniza metadados, como esquemas, apontadores de snapshots e definições de tabelas, conforme uma agenda de atualização definida. Durante a consulta, um mecanismo compatível lê arquivos Parquet diretamente do armazenamento remoto, usando credenciais temporárias emitidas pela plataforma remota.
O processamento das consultas ocorre na computação do Google Cloud, como BigQuery ou Managed Service for Apache Spark. Clusters do Databricks, warehouses virtuais do Snowflake e instâncias de computação da AWS não são acionados durante a execução, de acordo com o texto.
Analytics conversacional sobre dados federados
As tabelas Iceberg federadas podem ser usadas como tabelas nativas no BigQuery. A publicação informa que a funcionalidade de analytics conversacional pode explorar esquemas federados por comandos em linguagem natural.
No exemplo apresentado, a ferramenta avalia os esquemas em três catálogos remotos, gera uma instrução SQL, executa a consulta e apresenta a resposta. O conteúdo também sugere salvar uma junção federada como visão lógica para fornecer contexto operacional à análise conversacional.
Pontos operacionais para avaliar
O intervalo mínimo para sincronização de metadados é de 300 segundos. Em catálogos maiores, a recuperação dos metadados pode levar mais tempo; se um ciclo ultrapassar o tempo previsto, o BigQuery pula a próxima execução agendada para evitar enfileiramento de tarefas.
O BigQuery pode armazenar em cache blocos de dados recuperados entre nuvens na região em que o catálogo federado está localizado. O texto cita us-central1 como exemplo e informa que esses blocos ficam em armazenamento do Google Cloud nessa região. Os blocos de cache usam chaves de criptografia gerenciadas pelo Google.
Como recomendação editorial, equipes de tecnologia devem validar políticas de residência de dados antes de habilitar o cache. Também vale acompanhar, nos planos de execução, as métricas cacheBytesRead e objectStorageBytesRead para medir o uso do cache.
Autenticação e acesso
A autenticação segue três etapas: criar o catálogo federado no Google Cloud, consultar a configuração para obter a conta de serviço gerada e conceder permissões na plataforma remota. Para Databricks, o texto cita a concessão do privilégio EXTERNAL USE SCHEMA à identidade de serviço para viabilizar o fornecimento de credenciais para acesso externo aos dados.
Na configuração apresentada para AWS, uma sessão de 12 horas, equivalente a 43.200 segundos, é usada para evitar expiração de credenciais em consultas analíticas longas. O conteúdo também alerta que controles do AWS Lake Formation podem bloquear o acesso aos metadados se as permissões adequadas não estiverem configuradas.