Consulta sem duplicação de dados
O Google Cloud informou que o Lakehouse permite consultar, a partir do BigQuery, tabelas Apache Iceberg gerenciadas pelo Databricks sem copiar os dados. Segundo o texto, o BigQuery lê os mesmos arquivos gravados pelo Databricks.
As alterações nos dados ficam disponíveis após a próxima atualização programada de metadados do Lakehouse, que pode ocorrer a cada cinco minutos. As tabelas Iceberg gerenciadas geram metadados compatíveis com Iceberg em conjunto com os logs Delta nativos.
Federação entre nuvens e metadados
Além do Google Cloud Storage, a federação pode alcançar ambientes externos como Amazon S3 e Azure Blob Storage. O texto afirma que o BigQuery pode ler arquivos Parquet no local onde estão armazenados, sem pipeline de replicação. Encargos de saída de dados de nuvens remotas, porém, continuam aplicáveis.
O Unity Catalog do Databricks funciona como camada central de metadados. Na execução da consulta, o Lakehouse consulta o Unity Catalog para obter o estado atual da tabela e são emitidos tokens temporários para que o BigQuery acesse o Google Cloud Storage.
Governança e leitura seletiva
O Lakehouse usa acesso delegado para controles entre sistemas. Administradores podem configurar uma conexão de recurso do BigQuery vinculada a uma conta de serviço que gerencia permissões IAM nos buckets do Google Cloud Storage.
O BigQuery usa os metadados Iceberg de cada tabela para planejar a consulta e ler apenas os arquivos relevantes. Filtros em cláusulas WHERE podem usar manifestos Iceberg para descartar partições, registros de manifestos e arquivos Parquet que não correspondam aos critérios.
Manutenção indicada para as tabelas
Como recomendação operacional, o texto orienta executar pipelines regulares de compactação pelas APIs do Databricks e utilizar Predictive Optimization. Arquivos Parquet muito pequenos podem reduzir a eficiência de leitura, pois exigem muitas conexões e processamento de metadados.
O comando OPTIMIZE pode reunir segmentos dispersos em blocos maiores, tipicamente entre 256 MB e 512 MB. Já o VACUUM remove arquivos não referenciados fora de snapshots ativos. Nas configurações padrão, há um limite obrigatório de sete dias antes da execução do VACUUM.