Extrayendo vectores de tweets que se usan para ejecutar la clasificación

[camilocarvajalreyes]

Tratando de entender que vector es apropiado para usar como representación de frase encontré este comentario:

Actually, the final hidden representation of the [CLS] token (or < s > token in case of RoBERTa) is not the pooled output. Applying the feedforward neural network with tanh activation on this hidden representation actually gives you the pooled output (which is a vector of size 768 in case of the base sized model). Then, after this, a linear layer called out_proj is used to project the pooled output of size 768 into a vector of size num_labels. So the documentation is still correct.

For the second question, actually BERT does the same, it is just implemented differently. In modeling_bert.py, they use the pooled_output of BertModel, and then apply the linear layer on top of this. This pooled output has already applied the feedforward neural network + tanh activation on top of the [CLS] token hidden representation, as you can see here. In modeling_roberta.py, they implement it differently: they start from the sequence_output (which is a tensor containing the final hidden representations of all tokens in the sequence), then get the hidden repr of the < s > token by typing [:,0,:], then apply the feedforward nn + tanh and finally the linear projection layer.

So your confusion probably comes from the different ways in which this is implemented in BERT vs RoBERTa, and the meaning of pooled_output. Actually, some people use "pooled output" to denote the final hidden representation of the [CLS] token, but in HuggingFace transformers, this always refers to the output of a linear layer + tanh on top of this vector.

[camilocarvajalreyes]

Al menos para el modelo Roberta-tweet, me parece razonable interpretar la representación contextualizada del token < s >, que es lo que hace el código que propuse en la sección embeddings (First token embedding), pese a que este pasa una feedforward como señala el comentario, considerando que igual s están disponibles los logits. Para un futuro sería interesante analizar esta última representación!

[camilocarvajalreyes]

Esto también es cierto para BERTweet pues igual hereda de Roberta.

[furrutiav]

En el caso de BETO (BERT en español) he tenido que concatenar el token [CLS] artesanalmente en el input para obtener su representacion contextualizada. Por ejemplo, para la frase "¿Los gatos vuelan?" > "[CLS] ¿Los gatos no vuelan?". Al parecer los tokenizadores de los modelos que mencionas lo añaden por defecto. ¿Es asi?

[camilocarvajalreyes]

Así es, es precisamente el forward del tokenizer que hace eso
encoded_input = tokenizer(text, return_tensors='pt')
Uno puede imprimir el id de la secuencia resultante y hacer decode con el tokenizer, ahi sale el token [CLS], consistente con los modelos basados en bert y < s > para roberta.