Qual tamanho máximo um arquivo JSON pode ter? – json arquivo

Pergunta:


Vou dar um exemplo para conseguir explicar minha duvida:

Preciso recuperar informação de imagens vindas de uma API, esse banco de imagens me retorna JSON’s com informações das imagens que eu preciso, ao todo são 33 milhões de imagens e eu vou requisitar de 100 em 100 mil.

A estrutura de um JSON se eu requisitasse 2 imagens seria:

{
  "meta":{
  "limit":2,
  "offset":0,
  "total_count":33640457
},
"objects":[
  {
     "artist":"sunyyasyed",
     "grid_thumb_url":"http://grid.unlistedimages.com/64830460.jpg",
     "id":64830460,
     "image_name":"k13762459",
     "preview_url":"http://comps.unlistedimages.com/ulcomp/CSP/CSP992/k13762459.jpg",
     "ratio":0.8895689,
     "resource_uri":"/api/v1.0/image/64830460/",
     "subscription_allowed":true,
     "thumbnail_url":"http://photos.unlistedimages.com/thumbs/CSP/CSP992/k13762459.jpg",
     "title":"100 Business, Web, and Office Icons",
     "type":"PHOTO"
  },
  {
     "artist":"kevron2001",
     "grid_thumb_url":"http://grid.unlistedimages.com/62322357.jpg",
     "id":62322357,
     "image_name":"k10882629",
     "preview_url":"http://comps.unlistedimages.com/ulcomp/CSP/CSP990/k10882629.jpg",
     "ratio":1.25,
     "resource_uri":"/api/v1.0/image/62322357/",
     "subscription_allowed":true,
     "thumbnail_url":"http://photos.unlistedimages.com/thumbs/CSP/CSP990/k10882629.jpg",
     "title":"Sunset with open Bible",
     "type":"PHOTO"
  }
]
}

Cada bloco de imagem tem 13 linhas ou seja ao final o JSON terá ~1.300.000 linhas, existe um limite para gerar um arquivo JSON? pode ser que esse arquivo (com 43MB de texto) possa acarretar em problemas caso eu precise lê-lo

Autor da pergunta Leonardo Bonetti

Maniero

De forma geral não tem limite além do físico.

Os problemas que podem acarretar é não saber carregá-lo na memória por ser grande, se bem que 43MB para os dias de hoje é trocadinho e não costuma nem ter que tomar cuidados especiais. Se estiver usando um stream então ele deve controlar o acesso da melhor forma para não “engasopar”* a memória.

O que vai fazer com essas informações pode trazer algum problema específico. por exemplo, tentar ler todas as imagens constantes nele e deixar na memória.

Claro que se usar alguma ferramenta que tem algum limite,alguma dificuldade específica aí o problema é dela e não do JSON.


*Em época de injeção eletrônica e muitos jovens aqui, tem quem não saberá o que é isto, pesquise no contexto de motor 🙂 (não é engazopar) O termo não é bem esse, mas fica mais engraçado assim)

Fonte

Deixe uma resposta

O seu endereço de email não será publicado. Campos obrigatórios marcados com *