CODEWITHSUNDEEP
pythonspacy
JFerro
JFerro

Reputation: 3433

spacy noun_chunks strange division french

I am working with spacy and I would like to generate the noun_chunks of a french text:

import spacy

nlp = spacy.load('fr_core_news_sm')

text4='''Depuis quelques décennies, afin d'alléger le travail des agents de conduite et de télécommander la fonction de freinage d'immobilisation, on a généralisé l'utilisation des freins à ressort qui ont remplacé les freins à main même dans les appli­cations ferroviaires. Ces freins à ressort paraissent de plus assurer une fonction de sécurité car ils sont généralement desserrés par une pression d'air comprimé qu'il suffit de laisser s'échapper de façon graduée pour déclencher le frein de secours modérable, le frein d'immobilisation étant obtenu par un échappement total de la pression d'air comprimé que l'on est pratiquement sûr d'obtenir. En matière ferroviaire, on a même réalisé des freins de service modérables commandés directement par des ressorts avec échappement de la pression d'air comprimé en fonction de l'effort de freinage souhaité pour le véhicule et de la charge de celui-ci, de manière à obtenir la décéléra­tion souhaitée quelle que soit la charge du véhicule, le frei­nage de parc ou d'immobilisation étant obtenu automatiquement par surcroît en cas d'échappement total de la pression d'air comprimé.'''

doc = nlp(text4)

for chunk in doc.noun_chunks:
    print(chunk.text)

The results are very strange:

le travail
des agents de conduite et de télécommander la fonction de freinage d'immobilisation
on
l'utilisation des freins à ressort qui ont remplacé les freins à main même dans les appli­cations ferroviaires
Ces freins à ressort
une fonction de sécurité
ils
d'air
il
...etc...

The question is a mix code/linguistic

In the above list some noun_chunks are very long and actually should have been further divided. Why is that not the case? Is there any implication of using __ fr_core_news_sm __ model (14MB) instead as a larger one? Does the model influences the quality of the nounchunks separation?

Upvotes: 0

Views: 205

Answers (1)

aab
aab

Reputation: 11484

The noun chunks depend on the POS tags and the dependency parses, which usually do improve slightly for the larger models, especially between sm and md. It's also possible that the noun_chunks iterator for French needs some improvement.

Upvotes: 1

Related Questions