Fatura e impostosComunidade
Nível de dificuldade: Avançado (4 de 5)
Volumes EBS órfãos e Kubernetes superdimensionado explicam 38% do sobrecusto na fatura cloud
Um desvio de 48 mil dólares sem nenhum pico de tráfego
Um artigo técnico publicado na DEV Community descreve o fechamento contábil mensal de uma plataforma de e-commerce distribuída que acusou um desvio de 48 mil dólares na linha de IaaS, sem DDoS, sem campanha de marketing fora do planejado e com o TPS dentro do percentil 95 de sempre. Ao abrir a fatura em AWS e GCP, duas rubricas concentravam 38% do sobrecusto: volumes de bloco (EBS gp3 e Persistent Disks) em estado available, ou seja, sem instância associada, e um allocation gap de mais de 60% nos node groups de Kubernetes, a diferença entre o que os pods pedem e o que realmente consomem.
Quem fecha a fatura da nuvem todo mês, seja no FinOps, na controladoria ou no CTO que assina a conta, costuma ver só o número final. O artigo é útil justamente porque mostra onde esse número se esconde dentro da arquitetura: não é desperdício aleatório, é consequência direta de como o Container Storage Interface (CSI) e o kube-scheduler tomam decisões.
Por que o PVC morre e o disco continua vivo
O ciclo de vida de um PersistentVolumeClaim não é o mesmo ciclo de vida do bloco físico provisionado na nuvem. O CSI faz a mediação entre o scheduler do Kubernetes e a API do provedor (EC2/EBS, Compute Engine), e essa mediação pode falhar silenciosamente. O artigo lista três causas recorrentes desse descolamento:
persistentVolumeReclaimPolicy: Retainherdado: charts de Helm de produção para Kafka, Elasticsearch e Redis costumam vir comRetainpor padrão, para proteger dado contra exclusão acidental. Quando o release é destruído, o PVC some, mas oPersistentVolumeviraReleasedsem liberar o disco na nuvem.- Condição de corrida na destruição do cluster: quando Terraform ou Pulumi derrubam um cluster EKS/GKE inteiro sem antes esvaziar os recursos do Kubernetes, os nodes e o control plane desligam antes que o controller CSI consiga chamar
DeleteVolume. O volume ficaavailable, desassociado, faturando. - IOPS e throughput provisionados no gp3/io2: no gp3, a cobrança não é só por GB, é por IOPS acima de 3.000 e throughput acima de 125 MB/s definidos na
StorageClass. Segundo o cálculo do artigo, um disco órfão de 500 GB com 10.000 IOPS e 500 MB/s provisionados custa mais de 120 dólares por mês sem processar um único byte de I/O.
O preço usado na fonte é de us-east-1; em sa-east-1 o mecanismo é idêntico, mas vale conferir a tabela de preços regional antes de extrapolar o número.
Como caçar os órfãos sem abrir o console
Inspeção manual não escala. A auditoria proposta no artigo cruza dois inventários: os VolumeId referenciados pelos objetos PersistentVolume ativos no cluster (via volume_handle do CSI, ou aws_elastic_block_store.volume_id nos volumes legados) contra os volumes available retornados pela API da AWS. Volume que está available e não aparece em nenhum PV do cluster é candidato a órfão; antes de marcar como lixo, o script consulta o CloudWatch (VolumeReadOps, VolumeWriteOps) nos últimos dias para evitar falso positivo.
A lógica, resumida, é esta:
active_ids = get_active_k8s_volume_ids() # via client.CoreV1Api().list_persistent_volume()
for vol in ec2.describe_volumes(Filters=[{'Name': 'status', 'Values': ['available']}]):
if vol['VolumeId'] not in active_ids:
io_7d = cloudwatch_sum(vol['VolumeId']) # VolumeReadOps + VolumeWriteOps
cost = estimate_monthly_cost(vol) # GB-mês + excedente de IOPS/throughput
if io_7d == 0:
flag_as_orphan(vol, cost)O ganho real não é o script em si, é a correlação: só cruzando o boto3 com a API do Kubernetes dá para separar "disco sem dono" de "disco que vai ser reclamado no próximo deploy".
O imposto invisível do allocation gap
Enquanto o disco órfão é desperdício estático, o superdimensionamento de node é hemorragia contínua. O kube-scheduler decide alocação pelos requests declarados no pod, não pelo uso real de CPU e memória em runtime. Um pod que pede 4 vCPU e 16 GiB para cobrir um pico hipotético, mas consome em média 0,2 vCPU e 1,5 GiB, esgota a capacidade alocável do node imediatamente aos olhos do scheduler, mesmo sem usar quase nada de fato.
O cluster-autoscaler (ou o Karpenter, se mal configurado) vê que a soma de requests não cabe nos nodes existentes e sobe mais uma instância. O artigo descreve clusters inteiros rodando a 8% de CPU real com a fatura de cômputo inflada de 3x a 5x. Para medir isso com Prometheus, a query de referência é:
sum by (node) (kube_pod_container_resource_requests{resource="cpu"})
/
sum by (node) (kube_node_status_allocatable{resource="cpu"}) * 100Segundo o artigo, quando esse percentual passa de 40% de forma consistente em período estável, o cluster sofre de "inflação fictícia de capacidade": ele parece cheio, mas está vazio.
Remediar sem derrubar produção
Nenhuma estratégia de limpeza pode comprometer disponibilidade nem integridade transacional. O artigo contrasta quatro frentes:
| Estratégia | Vantagem | Trade-off | Evitar quando |
|---|---|---|---|
| Scripts forenses agendados (CronJob/Lambda) | Controle granular, zero impacto em runtime | Não previne a fuga na origem | Rotação agressiva de centenas de pods/hora |
Karpenter Consolidation/Disruption | Bin-packing automático, migra para Spot | Desaloja pods; exige PodDisruptionBudget | Bancos distribuídos com replicação lenta |
| Kyverno / OPA Gatekeeper | Bloqueia PVC com StorageClass errada | Fricção com times de desenvolvimento | Pipelines de migração rápida, legado |
| Kubecost / OpenCost | Visibilidade por namespace e chargeback real | Não executa a purga sozinho | Quando se quer solução 100% corretiva |
Na prática, as quatro se complementam: visibilidade primeiro, política depois, automação de consolidação por último.
Os três jeitos de a purga sair pela culatra
Automatizar a exclusão de recurso órfão tem raio de explosão real. O artigo lista três armadilhas que merecem virar runbook:
- Falso positivo por latência de
VolumeDetach: quando o Karpenter desaloca um node, o detach pode levar de 30 a 90 segundos. Um script que rode nesse intervalo vê o volumeavailablee apaga algo que ainda ia ser reclamado. A mitigação sugerida é não purgar nada com menos de 72 horas no estadoavailable. - Disco de DR warm standby: volumes EBS replicados de forma assíncrona para uma região secundária não têm PV associado até o failover acontecer. A saída é excluir por tag de governança, algo como
FinOps:Exempt=trueeDisasterRecovery:Target=standby, antes de qualquer varredura automática. - Perda irreversível de dado: para zerar esse risco, o artigo recomenda configurar o AWS Recycle Bin a nível de conta para volumes e snapshots EBS, com retenção de 14 dias, via
aws rbe create-rule --retention-period RetentionPeriodValue=14,RetentionPeriodUnit=DAYS --resource-type EBS_VOLUME. O script marca o volume com a tagFinOpsAutoPurged=trueantes doDeleteVolume; se alguém reclamar depois, dá para restaurar dentro da janela.
Fechando a torneira na StorageClass
Corrigir o sintoma não resolve a causa. O artigo recomenda que toda StorageClass provisionada defina explicitamente a política de reciclagem e o modo de binding:
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: ebs-gp3-sc
provisioner: ebs.csi.aws.com
volumeBindingMode: WaitForFirstConsumer
reclaimPolicy: Delete
allowVolumeExpansion: true
parameters:
type: gp3
iops: "3000"
throughput: "125"
encrypted: "true"O volumeBindingMode: WaitForFirstConsumer evita provisionar o disco antes de saber em que zona de disponibilidade o pod vai cair, o que impede a criação de volumes na AZ errada que depois precisam ser abandonados, virando órfãos novos.
O checklist de dia 2
O artigo fecha com um runbook que vale institucionalizar, não rodar uma vez só:
- Auditar
reclaimPolicycomkubectl get pv -o jsonpath=...e justificar por escrito todoRetainsem motivo de negócio. - Eliminar
StorageClassque ainda usa provisionador in-tree (kubernetes.io/aws-ebs) em vez do driver CSI atual. - No Karpenter, confirmar
consolidationPolicy: WhenEmptyOrUnderutilizedcomconsolidateAfter: 2mnosNodePools. - Rodar o Vertical Pod Autoscaler em modo
Off(só recomendação) em namespaces de consumo instável, para comparar percentil 99 de uso real contra orequestfixado pelo time de desenvolvimento. - Adicionar uma etapa de validação no pipeline de Terraform/ArgoCD que bloqueie merge de manifesto sem
reclaimPolicyexplícita.
Nada disso substitui a visibilidade contínua. Mas transforma uma auditoria forense pontual, como a que motivou o artigo, em rotina de operação, que é onde os 48 mil dólares deixam de reaparecer todo mês.
Fonte: DEV Community — #aws
Serviços neste textoFatura e impostos
Leve para a sua IA
Decida com o seu assistente, com o contexto deste texto já montado.
1. O que você quer saber
Ver o prompt
Li no AWS Hub: "Volumes EBS órfãos e Kubernetes superdimensionado explicam 38% do sobrecusto na fatura cloud" (https://awshub.com.br/comunidade/volumes-ebs-orfaos-e-kubernetes-superdimensionado-explicam-38-do-sobrecusto-na-f). Resumo: Um fechamento contábil com desvio de 48 mil dólares expôs uma falha estrutural comum: o Kubernetes apaga o workload, mas o disco na nuvem continua cobrando. Um artigo técnico publicado na DEV Community detalha como achar e fechar esse vazamento. Serviços: Fatura e impostos Minha stack: [descreva em uma linha: serviços, linguagem, volume, região] Isso muda alguma coisa na minha arquitetura? O que eu faria diferente a partir de amanhã?