{"id":2319,"date":"2016-04-13T00:00:00","date_gmt":"2016-04-13T00:00:00","guid":{"rendered":"https:\/\/blog.caixaresearch.org\/?p=2319"},"modified":"2020-05-05T08:33:42","modified_gmt":"2020-05-05T08:33:42","slug":"una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text","status":"publish","type":"post","link":"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/","title":{"rendered":"Una llei prediu la freq\u00fc\u00e8ncia d’\u00fas d’una paraula en un text"},"content":{"rendered":"

<\/p>\n

\n
\"\"<\/div>\n
Gr\u00e0fic de la llei de Zipf. Font: UAB<\/span><\/div>\n

Post d’\u00c1lvaro Corral<\/strong>, investigador del Centre de Recerca Matem\u00e0tica (CRM) i coordinador de l’estudi sobre la llei de Zipf.<\/p>\n

En el marc del projecte \u00abRecerca en matem\u00e0tica col\u00b7laborativa\u00bb<\/a>, impulsat per l’Obra Social “la Caixa”<\/a>, investigadors del Centre de Recerca Matem\u00e0tica (CRM)<\/a>, adscrits al Departament de Matem\u00e0tiques de la Universitat Aut\u00f2noma de Barcelona (UAB)<\/a>, hem analitzat per primer cop, amb tot el rigor matem\u00e0tic i estad\u00edstic necessari, la validesa de la llei de Zipf<\/a>. Aquesta recerca ha estat publicada el gener de 2016 a PLOS ONE<\/a>.<\/p>\n

En aquest estudi hem trobat que la llei de Zipf, una relaci\u00f3 matem\u00e0tica que determina la freq\u00fc\u00e8ncia d’\u00fas de les paraules, es compleix amb precisi\u00f3 en la major part dels textos, si s’exclouen de l’an\u00e0lisi les paraules extremadament rares.<\/p>\n

La llei de Zipf, en la seva versi\u00f3 m\u00e9s senzilla, formulada a la d\u00e8cada de 1930 pel ling\u00fcista estatunidenc George Kingsley Zipf, determina que, de manera sorprenent, la paraula m\u00e9s freq\u00fcent d’un text apareix el doble de vegades que la seg\u00fcent m\u00e9s freq\u00fcent, tres cops m\u00e9s que la tercera m\u00e9s freq\u00fcent, i aix\u00ed successivament.<\/p>\n

Aquesta llei, que es pot aplicar en molts altres camps a banda de la literatura, s’havia comprovat amb m\u00e9s o menys rigor en petites quantitats de dades, per\u00f2 mancava d’una comprovaci\u00f3 amb tot el rigor matem\u00e0tic i sobre una base de dades prou gran per donar-li validesa estad\u00edstica.<\/p>\n

Per demostrar la llei, els investigadors vam analitzar tota la col\u00b7lecci\u00f3 de textos en llengua anglesa del projecte Gutenberg<\/a>, una base de dades p\u00fablica i gratu\u00efta amb m\u00e9s de 30.000 obres en aquesta llengua. \u00c9s una tasca sense precedents: en l’\u00e0mbit de la ling\u00fc\u00edstica la llei mai havia estat comprovada en conjunts de m\u00e9s d’una dotzena de textos diferents.<\/p>\n

Segons l’an\u00e0lisi, si s’ignoren les paraules m\u00e9s rares, aquelles que nom\u00e9s surten un o dos cops en tot un llibre, el 55% dels textos s’ajusten perfectament a la llei de Zipf (en la seva formulaci\u00f3 m\u00e9s general). Si es tenen en compte totes les paraules, tamb\u00e9 les m\u00e9s rares, aquest percentatge \u00e9s del 40%.<\/p>\n

\"\"<\/div>\n
Freq\u00fc\u00e8ncia d’aparici\u00f3 de cada paraula segons la seva posici\u00f3 en el rang de major a menor freq\u00fc\u00e8ncia. Primers deu milions de paraules per a trenta vikip\u00e8dies. Font: Sergio Jim\u00e9nez, Wikimedia Commons.<\/span><\/div>\n

\u00c9s molt sorprenent que la freq\u00fc\u00e8ncia d’aparici\u00f3 de les paraules estigui determinada per una f\u00f3rmula amb un sol par\u00e0metre lliure. La famosa campana de Gauss, per exemple, ja en necessita dos, posici\u00f3 i amplada, per ajustar-se a dades reals d’altres fen\u00f2mens. Si descart\u00e9ssim paraules que apareixen tres, quatre o cinc vegades en tota una obra, la proporci\u00f3 de llibres que segueixen la llei de Zipf podria arribar a percentatges encara m\u00e9s alts.<\/p>\n

En termes matem\u00e0tics, la llei afirma que si s’ordenen totes les paraules per freq\u00fc\u00e8ncia d’\u00fas, la segona m\u00e9s freq\u00fcent apareix la meitat de vegades que apareix la m\u00e9s freq\u00fcent; la tercera, un ter\u00e7 de vegades i, en general, la que ocupa la posici\u00f3 n apareix 1\/n vegades la m\u00e9s freq\u00fcent.<\/p>\n

Hem estudiat la validesa de les tres formulacions m\u00e9s utilitzades de la llei de Zipf en tots els textos en llengua anglesa de la base de dades del projecte Gutenberg (que inclou m\u00e9s de 31.000 llibres) i hem observat que una d’aquestes formulacions s’ajusta, amb resultats estad\u00edsticament significatius, a la freq\u00fc\u00e8ncia d’aparici\u00f3 de totes les paraules de m\u00e9s del 40% dels llibres de la col\u00b7lecci\u00f3, uns textos que contenen entre cent paraules i m\u00e9s d’un mili\u00f3.<\/p>\n

Sembla evident que, en l’actual era de les dades massives i de les computadores d’altes prestacions, s’hauran d’enfocar els esfor\u00e7os en l’an\u00e0lisi de la llei a gran escala, i aquests resultats s\u00f3n un primer pas en aquesta direcci\u00f3.<\/p>\n

Encara que la literatura es considera una de les expressions per antonom\u00e0sia de la llibertat creadora, segons els resultats d’aquests investigadors, ni els m\u00e9s grans autors com Shakespeare o Dickens s’escapen de la tirania de la llei de Zipf.<\/p>\n

M\u00e9s informaci\u00f3<\/strong><\/p>\n

– Article cient\u00edfic publicat a PLOS ONE<\/a><\/p>\n<\/p><\/div>\n

<\/body><\/html><\/p>\n","protected":false},"excerpt":{"rendered":"<\/p>\n

\"\"
\n Gr\u00e0fic de la llei de Zipf. Font: UAB<\/p>\n

Post d’\u00c1lvaro Corral, investigador del Centre de Recerca Matem\u00e0tica (CRM) i coordinador de l’estudi sobre la llei de Zipf.<\/p>\n

En el marc del projecte \u00abRecerca en matem\u00e0tica col\u00b7laborativa\u00bb<\/a>, impulsat per l’Obra Social “la Caixa”<\/a>, investigadors del Centre de Recerca Matem\u00e0tica (CRM)<\/a>, adscrits al Departament de Matem\u00e0tiques de la Universitat Aut\u00f2noma de Barcelona (UAB)<\/a>, hem analitzat per primer cop, amb tot el rigor matem\u00e0tic i estad\u00edstic necessari, la validesa de la llei de Zipf<\/a>. Aquesta recerca ha estat publicada el gener de 2016 a PLOS ONE<\/a>.<\/p>\n","protected":false},"author":1,"featured_media":2760,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[519],"tags":[278,368,365],"class_list":["post-2319","post","type-post","status-publish","format-standard","hentry","category-investigacio","tag-estadistica","tag-matematiques","tag-recerca"],"acf":[],"yoast_head":"\nUna llei prediu la freq\u00fc\u00e8ncia d'\u00fas d'una paraula en un text - Blog CaixaCi\u00e8ncia<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/\" \/>\n<meta property=\"og:locale\" content=\"ca_ES\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Una llei prediu la freq\u00fc\u00e8ncia d'\u00fas d'una paraula en un text - Blog CaixaCi\u00e8ncia\" \/>\n<meta property=\"og:description\" content=\"Gr\u00e0fic de la llei de Zipf. Font: UAB Post d’\u00c1lvaro Corral, investigador del Centre de Recerca Matem\u00e0tica (CRM) i coordinador de l’estudi sobre la llei de Zipf. En el marc del projecte \u00abRecerca en matem\u00e0tica col\u00b7laborativa\u00bb, impulsat per l’Obra Social “la Caixa”, investigadors del Centre de Recerca Matem\u00e0tica (CRM), adscrits al Departament de Matem\u00e0tiques de la Universitat Aut\u00f2noma de Barcelona (UAB), hem analitzat per primer cop, amb tot el rigor matem\u00e0tic i estad\u00edstic necessari, la validesa de la llei de Zipf. Aquesta recerca ha estat publicada el gener de 2016 a PLOS ONE.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/\" \/>\n<meta property=\"og:site_name\" content=\"Blog CaixaCi\u00e8ncia\" \/>\n<meta property=\"article:published_time\" content=\"2016-04-13T00:00:00+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2020-05-05T08:33:42+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/blog.caixaresearch.org\/wp-content\/uploads\/2020\/04\/ca\/Prueban-por-primera-vez-una-ley-matematica-con-textos-del-proyecto-Gutenberg_image_380.png\" \/>\n\t<meta property=\"og:image:width\" content=\"400\" \/>\n\t<meta property=\"og:image:height\" content=\"247\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"La Caixa\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Escrit per\" \/>\n\t<meta name=\"twitter:data1\" content=\"La Caixa\" \/>\n\t<meta name=\"twitter:label2\" content=\"Temps estimat de lectura\" \/>\n\t<meta name=\"twitter:data2\" content=\"4 minuts\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/\",\"url\":\"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/\",\"name\":\"Una llei prediu la freq\u00fc\u00e8ncia d'\u00fas d'una paraula en un text - Blog CaixaCi\u00e8ncia\",\"isPartOf\":{\"@id\":\"https:\/\/blog.caixaresearch.org\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/blog.caixaresearch.org\/wp-content\/uploads\/2020\/04\/ca\/Prueban-por-primera-vez-una-ley-matematica-con-textos-del-proyecto-Gutenberg_image_380.png\",\"datePublished\":\"2016-04-13T00:00:00+00:00\",\"dateModified\":\"2020-05-05T08:33:42+00:00\",\"author\":{\"@id\":\"https:\/\/blog.caixaresearch.org\/#\/schema\/person\/c4ed33a98e6581c876664e7035da245a\"},\"inLanguage\":\"ca\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"ca\",\"@id\":\"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/#primaryimage\",\"url\":\"https:\/\/blog.caixaresearch.org\/wp-content\/uploads\/2020\/04\/ca\/Prueban-por-primera-vez-una-ley-matematica-con-textos-del-proyecto-Gutenberg_image_380.png\",\"contentUrl\":\"https:\/\/blog.caixaresearch.org\/wp-content\/uploads\/2020\/04\/ca\/Prueban-por-primera-vez-una-ley-matematica-con-textos-del-proyecto-Gutenberg_image_380.png\",\"width\":400,\"height\":247},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/blog.caixaresearch.org\/#website\",\"url\":\"https:\/\/blog.caixaresearch.org\/\",\"name\":\"Blog CaixaCi\u00e8ncia\",\"description\":\"\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/blog.caixaresearch.org\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"ca\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/blog.caixaresearch.org\/#\/schema\/person\/c4ed33a98e6581c876664e7035da245a\",\"name\":\"La Caixa\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"ca\",\"@id\":\"https:\/\/blog.caixaresearch.org\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/d49b93050814699a8c78e1e6223735d5?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/d49b93050814699a8c78e1e6223735d5?s=96&d=mm&r=g\",\"caption\":\"La Caixa\"},\"sameAs\":[\"https:\/\/blog.caixaresearch.org\"],\"url\":\"https:\/\/blog.caixaresearch.org\/ca\/author\/caixaciencialamagnetica-net\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Una llei prediu la freq\u00fc\u00e8ncia d'\u00fas d'una paraula en un text - Blog CaixaCi\u00e8ncia","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/","og_locale":"ca_ES","og_type":"article","og_title":"Una llei prediu la freq\u00fc\u00e8ncia d'\u00fas d'una paraula en un text - Blog CaixaCi\u00e8ncia","og_description":"Gr\u00e0fic de la llei de Zipf. Font: UAB Post d’\u00c1lvaro Corral, investigador del Centre de Recerca Matem\u00e0tica (CRM) i coordinador de l’estudi sobre la llei de Zipf. En el marc del projecte \u00abRecerca en matem\u00e0tica col\u00b7laborativa\u00bb, impulsat per l’Obra Social “la Caixa”, investigadors del Centre de Recerca Matem\u00e0tica (CRM), adscrits al Departament de Matem\u00e0tiques de la Universitat Aut\u00f2noma de Barcelona (UAB), hem analitzat per primer cop, amb tot el rigor matem\u00e0tic i estad\u00edstic necessari, la validesa de la llei de Zipf. Aquesta recerca ha estat publicada el gener de 2016 a PLOS ONE.","og_url":"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/","og_site_name":"Blog CaixaCi\u00e8ncia","article_published_time":"2016-04-13T00:00:00+00:00","article_modified_time":"2020-05-05T08:33:42+00:00","og_image":[{"width":400,"height":247,"url":"https:\/\/blog.caixaresearch.org\/wp-content\/uploads\/2020\/04\/ca\/Prueban-por-primera-vez-una-ley-matematica-con-textos-del-proyecto-Gutenberg_image_380.png","type":"image\/png"}],"author":"La Caixa","twitter_card":"summary_large_image","twitter_misc":{"Escrit per":"La Caixa","Temps estimat de lectura":"4 minuts"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/","url":"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/","name":"Una llei prediu la freq\u00fc\u00e8ncia d'\u00fas d'una paraula en un text - Blog CaixaCi\u00e8ncia","isPartOf":{"@id":"https:\/\/blog.caixaresearch.org\/#website"},"primaryImageOfPage":{"@id":"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/#primaryimage"},"image":{"@id":"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/#primaryimage"},"thumbnailUrl":"https:\/\/blog.caixaresearch.org\/wp-content\/uploads\/2020\/04\/ca\/Prueban-por-primera-vez-una-ley-matematica-con-textos-del-proyecto-Gutenberg_image_380.png","datePublished":"2016-04-13T00:00:00+00:00","dateModified":"2020-05-05T08:33:42+00:00","author":{"@id":"https:\/\/blog.caixaresearch.org\/#\/schema\/person\/c4ed33a98e6581c876664e7035da245a"},"inLanguage":"ca","potentialAction":[{"@type":"ReadAction","target":["https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/"]}]},{"@type":"ImageObject","inLanguage":"ca","@id":"https:\/\/blog.caixaresearch.org\/ca\/una-llei-prediu-la-frequencia-dus-duna-paraula-en-un-text\/#primaryimage","url":"https:\/\/blog.caixaresearch.org\/wp-content\/uploads\/2020\/04\/ca\/Prueban-por-primera-vez-una-ley-matematica-con-textos-del-proyecto-Gutenberg_image_380.png","contentUrl":"https:\/\/blog.caixaresearch.org\/wp-content\/uploads\/2020\/04\/ca\/Prueban-por-primera-vez-una-ley-matematica-con-textos-del-proyecto-Gutenberg_image_380.png","width":400,"height":247},{"@type":"WebSite","@id":"https:\/\/blog.caixaresearch.org\/#website","url":"https:\/\/blog.caixaresearch.org\/","name":"Blog CaixaCi\u00e8ncia","description":"","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/blog.caixaresearch.org\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"ca"},{"@type":"Person","@id":"https:\/\/blog.caixaresearch.org\/#\/schema\/person\/c4ed33a98e6581c876664e7035da245a","name":"La Caixa","image":{"@type":"ImageObject","inLanguage":"ca","@id":"https:\/\/blog.caixaresearch.org\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/d49b93050814699a8c78e1e6223735d5?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/d49b93050814699a8c78e1e6223735d5?s=96&d=mm&r=g","caption":"La Caixa"},"sameAs":["https:\/\/blog.caixaresearch.org"],"url":"https:\/\/blog.caixaresearch.org\/ca\/author\/caixaciencialamagnetica-net\/"}]}},"_links":{"self":[{"href":"https:\/\/blog.caixaresearch.org\/ca\/wp-json\/wp\/v2\/posts\/2319","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.caixaresearch.org\/ca\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.caixaresearch.org\/ca\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.caixaresearch.org\/ca\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.caixaresearch.org\/ca\/wp-json\/wp\/v2\/comments?post=2319"}],"version-history":[{"count":2,"href":"https:\/\/blog.caixaresearch.org\/ca\/wp-json\/wp\/v2\/posts\/2319\/revisions"}],"predecessor-version":[{"id":3560,"href":"https:\/\/blog.caixaresearch.org\/ca\/wp-json\/wp\/v2\/posts\/2319\/revisions\/3560"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.caixaresearch.org\/ca\/wp-json\/wp\/v2\/media\/2760"}],"wp:attachment":[{"href":"https:\/\/blog.caixaresearch.org\/ca\/wp-json\/wp\/v2\/media?parent=2319"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.caixaresearch.org\/ca\/wp-json\/wp\/v2\/categories?post=2319"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.caixaresearch.org\/ca\/wp-json\/wp\/v2\/tags?post=2319"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}