Scodare in parallelo i messaggi di una queue di Windows Azure

di Cristian Civera, in Windows Azure,

Nello script #219 si sono presentate le queue di Windows Azure, che per la loro natura sono ottime per scalare perché permettono di disaccoppiare e di aumentare i motori che possono scodare gli elementi. E' opportuno però non abusare della facoltà di scalare pensando che ciò voglia dire avere anche prestazioni. Ogni motore che si decide di applicare deve trarre il massimo dalle potenzialità della macchina secondo il genere di lavoro che ogni messaggio poi va a scatenare.

Ad esempio, se l'attività comprende operazioni intensive sulla CPU che però non vanno ad impegnarla interamente oppure effettua attività di rete con una certa latenza, può convenire processare contemporaneamente, anche sullo stesso motore, più di un messaggio.

Per raggiungere questo obiettivo è possibile sfruttare la parallelizzazione delle operazioni attraverso una libreria introdotta con il .NET Framework 4.0: la task parallel library. In particolare, il metodo statico ForEach della classe Parallel permette di prendere un IEnumerable e di invocare un delegato per ogni elemento. Inoltre il motore decide automaticamente di passare all'elemento successivo mentre l'altro è in esecuzione in base ai carichi e ai tempi di esecuzione delle attività.

L'idea è quindi di preparare una funzione che restituisca un IEnumerable che popola, con la parola chiave yield, ogni messaggio ottenuto dalla coda, come nel codice seguente.

private IEnumerable<CloudQueueMessage> GetMessages()
{
  CloudQueueMessage message;

  // Carico il prossimo messaggio
  while ((message = this.Queue.GetMessage(TimeSpan.FromSeconds())) != null)
  {
    // Restituisco il messaggio, quando necessario
    yield return message;
  }
}

A questo punto è possibile usare TPL per eseguire una funzione, che nell'esempio si chiama ProcessMessage, per processare il messaggio ed eliminarlo.

// Ottengo la lista dinamicca
var messages = this.GetMessages();
// Uso TPL per parallelizzare
Parallel.ForEach(messages, this.ProcessMessage);

E' importante notare che in questo modo non vengono scaricati tutti i messaggi, ma solo quelli che il motore pian piano è in grado di processare. Occorre però prestare attenzione al fatto che i tempi di processamento dei messaggi potrebbero diventare più lunghi ed è quindi importante lavorare correttamente con i tempi di visibilità di essi.

Commenti

Visualizza/aggiungi commenti

| Condividi su: Twitter, Facebook, LinkedIn

Per inserire un commento, devi avere un account.

Fai il login e torna a questa pagina, oppure registrati alla nostra community.

Approfondimenti

I più letti di oggi