Dá-lhe Fogão! Tiquinho!!!

Botafogo!!!

Bluesky now has over 10 million users, and I was #7,529,427!

Tem essa aqui do primeiro filme do Harry Potter. Assim de cabeça só lembrei dessa, rs

Eureka! 3 meses trabalhando engenharia de dados, hardware e spark. Fins de semana e madrugadas e dezenas de bilhões de linhas começam a fazer sentido como informação. Ontem pude agregar as variáveis derivadas de todos os dados na mesma resolução espacial e temporal e gerar as primeiras correlações.

Ontem deixei o i513600K e suas 20 threads de cabeça quente, chegando a 90 oC (não tenho toda essa confiança no sensor da placa mãe, rs). Pela documentação da Intel poderia chegar a 100 oC com breves picos acima. O air cooler está dando conta, chegando a 100 vou ver alternativas #rio40graus #bigdata

Depois de mastigar bem o problema a melhor solução foi colocar o SSD não como armazenamento dos arquivos parquet da análise mas como lugar para os temporários do spark, acabei de executar em 2h 15m o que ontem processei em 13h!

Aqui se fala, aqui se faz. rs. Como no post anterior sobre criatividade estou aqui sábado de manhã enquanto a casa toda ainda dorme processando bilhões de linhas de dados espaço-temporais só para ver qual é. KKKKKK, Não consegui migrar todo o processo para o SSD ainda, HDD fazendo um barulho danado!

Sendo todas as outras coisas iguais, o desejo que nasce da alegria é mais forte que o desejo que nasce da tristeza.