Stopwords filtering
What is a stopword?
Stopwords are common words of a language that have little meaning and poor discrimating value NLU tasks.
What is stopwords filtering?
Stopwords are available in abundance in any human language. By removing these words, we remove the low-level information from our text in order to give more focus to the important information.
In our case, stop words will be removed from:
- your training data
- every user request
What are some stopwords list used in the platform?
Below is some stopwords list we use in the platform:
Stopwords for english
the
a
an
please
pls
hey
yo
you
your
yours
yourself
so
then
my
me
this
that
these
those
and
but
about
to
any
some
such
only
too
very
can
just
now
though
although
instead
while
besides
hello
hi
man
ok
alright
allright
lol
?
!
Stopwords for french
au
aux
avec
ce
ces
dans
de
des
du
elle
en
et
eux
il
ils
je
la
le
les
leur
lui
ma
mais
me
même
mes
moi
mon
ne
nos
notre
nous
on
ou
par
pas
pour
qu
que
qui
sa
se
ses
son
sur
ta
te
tes
toi
ton
tu
un
une
vos
votre
vous
c
d
j
l
à
m
n
s
t
y
été
étée
étées
étés
étant
étante
étants
étantes
suis
es
est
sommes
êtes
sont
serai
seras
sera
serons
serez
seront
serais
serait
serions
seriez
seraient
étais
était
étions
étiez
étaient
fus
fut
fûmes
fûtes
furent
sois
soit
soyons
soyez
soient
fusse
fusses
fût
fussions
fussiez
fussent
ayant
ayante
ayantes
ayants
eu
eue
eues
eus
ai
as
avons
avez
ont
aurai
auras
aura
aurons
aurez
auront
aurais
aurait
aurions
auriez
auraient
avais
avait
avions
aviez
avaient
eut
eûmes
eûtes
eurent
aie
aies
ait
ayons
ayez
aient
eusse
eusses
eût
eussions
eussiez
eussent
a
How can I activate / deactivate stopwords filtering?
Stopwords filtering is only available in SNP 1.06 pipeline and above
In ordre to benefit of this feature, you will need to use SNP modeled version of at least 1.06
Stopwords filtering is not activated by default
You can activate / deactivate this feature from the settings of your bot
Updated about 1 year ago