Co-word analysis applied to highly cited papers in Library and Information Science (2007-2017)

tinf Transinformação Transinformação 0103-3786 2318-0889 Pontifícia Universidade Católica de Campinas Abstract This paper aims to identify the conceptual structure in the category Library and Information Sciences in the Web of Science, in the period 2007-2017, using the analytical tool Essential Science Indicators. Based on highly cited papers, the methodology consisted in the application of co-word analysis and multivariate analysis techniques and visualization through science mapping. The main results showed that the studies on Web 2.0 based on the collaborative participation of the users, the evaluation of scientific activities, as well as the alternative metrics developed in the social and academic platforms, such as Altmetrics, trust in virtual environments, and the application of information technologies in companies and digital e-commerce platforms were the areas of greatest interest to the researchers. Introducción En este trabajo se aplicaron indicadores bibliométricos relacionales a los documentos altamente citados en el campo Biblioteconomía y Ciencias de la Información (BIC) para identificar las líneas de investigación más activas en este dominio de conocimiento. Los indicadores bibliométricos abordan el análisis de la actividad científica desde varias perspectivas, dando lugar a una gran variedad de tipologías, según los diferentes propósitos evaluativos. En un esquema de clasificación propuesto por Callon, Courtial y Penan (1995) se distingue: (a) indicadores de producción, visibilidad e impacto y colaboración; y (b) indicadores relacionales. Otra clasificación, propuesta por Van Raan (2005), se establece a partir de las técnicas estadísticas utilizadas distinguiendo: (a) indicadores unidimensionales, basados en la estadística univariable, dedicados a analizar o medir una única característica de los documentos publicados, sin tener en cuenta ningún vínculo que pudiera haber entre ellos; y (b) indicadores bidimensionales o multidimensionales, basados en técnicas estadísticas de análisis multivariante, dedicados a analizar o medir de forma simultánea diferentes características o variables, o múltiples interrelaciones, que se pudieran observar en los documentos publicados. El análisis co-palabras se incluye dentro de la clasificación de los indicadores relacionales y multidimensionales (Callon; Courtial; Penan, 1995; Leydesdorff; Welbers, 2011). Por análisis de co-palabras se entiende el estudio de las co-ocurrencias, o apariciones conjuntas, de dos términos en un texto dado con el propósito de identificar la estructura conceptual y temática de un dominio científico. En el proceso de análisis de co-palabras, una vez seleccionadas los términos que se van a analizar, se construyen matrices de co-ocurrencias, con las que se calculan medidas de similitud, o “similaridad”. Las medidas de similitud sirven como input a diferentes clases de análisis multivariante, tales como análisis de agrupamiento (clustering) y análisis de Escalamiento Multidimensional (MDS, Multidimensional Scaling). El análisis de clustering consiste en descomponer las unidades de análisis en grupos de ítems similares y relacionados. Las asociaciones de palabras obtenidas serían asimilables a las líneas temáticas de los campos científicos. Por su parte, el análisis MDS traduce las medidas de similaridad en mapas bidimensionales para ayudar en la interpretación de las relaciones entre las unidades de análisis. Las técnicas estadísticas de análisis multivariante permiten la visualización de las unidades de seleccionadas en mapas bibliométricos, mapas de la ciencia o “cienciogramas” (Noyons; Moed; Luwel, 1999; Small, 2006; Van Eck, 2011). A su vez, también es posible analizar y visualizar las relaciones entre las unidades bibliométricas mediante el cálculo de toda la red de relaciones. En el análisis de red el interés reside en la relación entre las unidades y las propiedades estructurales de la red, en lugar de características propias de las unidades individuales (Wasserman; Faust, 1994). El análisis de co-palabras, junto con las técnicas estadísticas de análisis multivariante, constituye uno de los métodos más eficaces para el descubrimiento de las tendencias y temas emergentes en un campo científico. Esta metodología se ha aplicado con éxito a diversas materias y disciplinas (Ding; Chowdhury; Foo, 2001; Kostoffet al., 2006; Leydesdorff; Hellsten, 2006; Li; Ho; Li, 2008; Liberatore; Herrero-Solana, 2013; Cho, 2014; Hu; Zhang, 2015; Ravikumar; Agrahari; Singh, 2015; Olmeda-Gómez; Ovalle-Perandones; Perianes-Rodríguez, 2017). Por otra parte, desde una aproximación cuantitativa, los trabajos muy citados, se definen como “documentos excelentes” (esto es, documentos “highly cited”, “top cited” o “most frequently cited”) (Glänzel; Schubert, 1992). Los trabajos que reciben un gran número de citaciones tienen mucho interés debido a que se pueden considerar influyentes en el desarrollo de la ciencia en un dominio científico determinado (Bauer; Leydesdorff; Bornmann, 2016). El supuesto de que los trabajos muy citados se establecen como los documentos fundamentales o claves, “seminal documents”, en un área de investigación se propuso también en el denominado modelo CAB (Citation-Assisted Background) (Kostoff; Shlesinger, 2005). En relación con esto, la herramienta analítica Essential Science Indicators (ESI), disponible a través de la plataforma Web of Knowledge, se construye a partir de todas las bases del datos del Institute for Scientific Information (ISI) y proporciona estadísticas para hacer seguimientos de las tendencias en el mundo científico a través de dos indicadores: (1) Artículos más citados en los últimos 10 años (Highly cited papers); y (2) Artículos más citados en los últimos dos años (hot papers). La herramienta ESI se ha utilizado en diversas investigaciones para evaluar los resultados científicos con alta precisión (Csajbóket al., 2007; Chuang; Wang; Ho, 2011; Fuet al., 2011). Diferentes estudios bibliométricos se han ocupado de la excelencia de los documentos muy citados y su contribución al progreso científico en una disciplina (Aksnes, 2003; Small, 2004; Wang, 2013). En el área de investigación BIC también se han desarrollado trabajos que parten del análisis de los documentos altamente citados (Levitt; Thelwall, 2009; Blessinger; Hrycaj, 2010; Ivanović; Ho, 2016), pero nunca desde el método del análisis de co-palabras. La hipótesis que se planteó en este estudio partió de la premisa de que las citas de los trabajos de investigación son un indicador de la influencia que tienen en un área de conocimiento, originando nuevas ideas y focos temáticos emergentes. A partir de los documentos altamente citados, el objetivo de este trabajo fue aplicar la metodología del análisis de co-palabras para identificar la estructura conceptual, y los principales frentes de investigación del área BIC, durante el periodo 2007-2017. Procedimientos Metodológicos El método del análisis de co-palabras desarrollado siguió las siguientes etapas: (1) recuperación de los registros, que sirvieron de fuente, para el análisis de la estructura conceptual de la investigación en BIC; (2) cálculo de las frecuencias absolutas de las palabras clave contenidas en las referencias de los artículos; (3) construcción de una matriz de co-palabras y generación de una red bibliométrica utilizando el software de análisis de redes sociales Pajek (Batagelj; Mrvar, 1998); (4) sobre la red bibliométrica generada, se aplicaron medidas de similaridad, para la normalización de los valores de co-ocurrencia de palabras clave, y técnicas multivariantes de clustering para identificar grupos homogéneos de palabras clave; (5) posicionamiento y visualización de los datos obtenidos en mapas cienciométricos, utilizando el software VOSviewer (Van Eck; Waltman, 2010), en el que las relaciones entre las palabras se representaron en forma de vínculos y se distribuyeron como puntos cercanos en un espacio multidimensional; y, por último, (6) interpretación de los resultados obtenidos. Para la recuperación de los artículos “altamente citados” se utilizaron las bases de datos Science Citation Index Expanded (SCIE), Social Sciences Citation Index (SSCI) y Arts & Humanities Citation Index (A&HCI) disponibles a través de la plataforma Web of Science (WoS). La estrategia de búsqueda empleada consistió en utilizar el término “Information Science & Library Science” en el campo “Área de investigación” de WoS, “Article” en el campo “tipo de documento” y limitada al periodo temporal 2007-2017. A continuación se utilizó el indicador “Artículos más citados en los últimos 10 años” (Highly cited papers), dentro del recurso “Indicadores Esenciales de la Ciencia” (ESI, Essential Science Indicators). La búsqueda se realizó el 21 de octubre de 2017. Los documentos recuperados fueron descargados directamente en formato de texto plano para ser tratados. A continuación, se seleccionaron las palabras clave con las que está indexada la producción científica indexada en WoS. En estas bases de datos, los registros incluyen dos tipos de palabras clave: a) palabras clave de autor, Author Keywords (KWA), proporcionadas por los propios autores; y (b) KeyWords Plus (KW+), extraídas de forma automática a partir de la frecuencia de aparición de las palabras en los títulos de las referencias de los artículos citados. En este trabajo se optó por seleccionar las palabras clave de autor, debido a que las palabras clave extraídas de forma automática son menos específicas y comprensibles que las palabras clave aportadas por los autores (Zhanget al., 2016). El paso siguiente fue realizar un conteo de las frecuencias de las palabras clave de autor, contenidas en cada uno de los documentos recuperados. Para simplificar las complejas estructuras de conocimiento del área y superar las limitaciones de la compresión humana, se consideraron únicamente las palabras clave que superaron un determinado umbral de frecuencias, o apariciones. Bajo este criterio, se seleccionaron sólo las palabras clave cuya frecuencia fuera ≥2 (un umbral más bajo hubiera dado lugar a una larga lista de palabras clave y a mapas complejos difíciles de visualizar e interpretar). Con estos datos, se construyó una matriz cuadrada de N x N elementos, o matriz de co-ocurrencia entre pares de palabras clave. Con la información de la matriz de co-ocurrencia se generó una red bibliométrica, en la que las relaciones de co-ocurrencia entre palabras se representaron por grafos que se conectaron por medio de nodos y enlaces. Con el propósito de normalizar los valores de co-ocurrencia entre los términos (para identificar parejas de palabras clave que representaran de forma adecuada el corpus analizado y facilitaran su agrupamiento) fue necesario obtener una matriz de similaridad a partir de la red bibliométrica generada. Para normalizar los valores de la red se aplicó el denominado índice de similaridad “Fuerza de Asociación” (FA), Association Strength (Van Eck; Walkman, 2007). El índice FA se basa en la normalización de los valores de asociación de las parejas de palabras clave, con su aplicación se obtiene el correspondiente peso (weight) de cada palabra clave. La red de palabras clave obtenida se visualizó en un mapa utilizando el software VOSviewer, en el que los términos se posicionaron en un espacio bidimensional (según su índice de “similaridad FA”, calculado en la etapa anterior). En los mapas se mostraron sólo las palabras clave con mayor peso, a su vez, la posición de cada término en los mapas, se realizó mediante la aplicación de la denominada técnica de Visualización de Similaridades (Visualization of Similarities, VOS) (Van Eck; Walkman, 2009). La técnica VOS permite ejecutar diferentes algoritmos de clustering (Waltman; Van Eck; Noyons, 2010) para posicionar y clasificar las palabras clave en grupos similares, equiparables a grupos temáticos. Para detectar los diferentes clusters, el algoritmo de VOSviewer aplica una versión mejorada del escalamiento multidimensional, que evita los problemas asociados con la visualización MDS (tales como generar representaciones circulares, o que muestren los términos relevantes en el centro de las representaciones) (Van Eck; Waltman, 2010). El algoritmo de clustering de VOSviewer incluye diferentes parámetros de resolución, según el valor que se proporcione para configurarlo. Se ejecutaron varias pruebas introduciendo distintos valores en el parámetro, se decidió un valor de 3 para la obtención de clusters temáticos homogéneos. También se consideró que el tamaño mínimo de los clusters no fuera inferior a 15 palabras clave, garantizando de esta forma una serie de grupos temáticos con un mínimo de consistencia. Por último, los grupos de términos se representaron en un mapa bibliométrico bidimensional. Resultados En total se recuperaron 347 documentos en total, correspondientes a la categoría “Library & Information Science” de WoS, durante el periodo 2007-2017, y utilizando el indicador “Highly cited papers”. Los artículos altamente citados representaron únicamente el 1% de la categoría analizada. Sobre estos documentos se identificaron un total de 1037 palabras clave. Después de eliminar duplicados y normalizar los ítems, se obtuvo una lista de 369 palabras clave, con la que se construyó la matriz de co-ocurrencia 369 x 369. A partir de esta matriz, se calculó la medida de “similaridad FA” y se aplicó la técnica estadística de análisis multivariante de clustering con la que se construyó el mapa, en el que se agruparon y visualizaron los ítems en conglomerados homogéneos. El paso siguiente, después de inspeccionar y verificar los diferentes grupos de palabras clave, fue proporcionar una etiqueta a cada grupo con los términos con mayor peso (weight) dentro de cada cluster obtenido. En primer lugar, los resultados revelaron que buena parte de los artículos citados se publicaron en revistas con un alto factor de impacto en Journal Citation Reports (JCR), dentro de la categoría “Library & Information Science” (Tabla 1). Por otra parte, también se mostró la diversidad y heterogeneidad temática de las revistas incluidas en la categoría BIC (con revistas que van desde las ciencias sociales, la gestión de la información, la informática médica o especialidades propias de la ingeniería informática). Tabla 1 Listado de las revistas en las que han sido publicados los artículos de investigación más citados en la categoría “Library & Information Scien” de Web of Science, 2007-2017. Título de la revista Frecuencia n % Journal of the American Medical Informatics 77 19,7 MIS Quarterly 52 13,3 Journal of the American Society for Information Science and Technology 31 7,9 Scientometrics 30 7,6 Journal of Informetrics 26 6,6 Journal of the Association for Information Science and Technology 26 6,6 Journal of Computer-Mediated Communication 16 4,0 Information Systems Research 15 3,8 Information & Management 15 3,8 International Journal of Information Management 14 3,6 Journal of Health Communication 13 3,3 International Journal of Geographical Information Science 12 3,0 Government Information Quarterly 10 2,6 Telematics and Informatics 9 2,3 Qualitative Health Research 9 2,3 Otros 37 9,4 Total 392 100,0 Fuente: Elaboración propia (2018). En la representación del mapa bibliométrico (Figura 1), con las 369 palabras clave seleccionadas, el tamaño de las etiquetas de las palabras clave fue proporcional a la frecuencia de ocurrencias de los términos y a su peso (calculado con el “índice similaridad FA”, a través del cual los términos se relacionaron entre sí). El conglomerado situado en el centro del mapa indicó una alta interrelación de las palabras clave que lo conformaron, mientras que los clusters situados en los bordes de los mapas indicaron una menor interrelación de dichas palabras clave. En la Tabla 2 se muestra una selección de las primeras 52 palabras clave con mayor frecuencia (con su correspondiente peso, o “índice de similaridad FA”). En la Figura 2 se muestra una selección de las 20 palabras clave con mayor peso. Figura 1 Mapa bibliométrico etiquetado con las 369 palabras clave seleccionadas. Fuente: Elaboración propia (2018). Figura 2 Selección de una muestra con las 20 palabras clave con mayor peso, o Fuerza de Asociación (FA). Fuente: Elaboración propia (2018). Tabla 2 Selección de una muestra con las palabras clave más frecuentes de la categoría “Library & Information Science” (2007-2017) de Web of Science (WoS), en orden descendente, y su correspondiente peso (weight) calculado con la aplicación del índice Fuerza de Asociación (FA). Frecuencia (n) Peso Palabra clave Frecuencia (n) Peso Palabra clave 20 62 Social media 4 18 Qualitative 11 16 Bibliometrics 3 7 Habit 10 26 Research evaluation 3 11 Theory development 10 22 Citation analysis 3 10 Humanities 9 28 Twitter 3 9 Social sciences 7 20 Technology adoption 3 10 Online reference managers 7 17 Altmetrics 3 10 User-generated content 7 23 Web of Science 3 12 Case study 7 31 Trust 3 9 Structural equation modeling 6 16 Scopus 3 12 Google Scholar 6 9 Electronic health records 3 9 Satisfaction 5 8 Scientometrics 3 12 Open government 5 10 Electronic commerce 3 8 University rankings 5 15 Social capital 3 12 Knowledge management 5 14 Technology acceptance model 3 8 Information systems 5 19 Collaboration 3 10 UTAUT 5 13 Webometrics 3 10 H-index 5 17 Facebook 3 11 Affordances 4 7 Clustering 3 9 Social Networks 4 17 E-commerce 3 10 Methodology 4 9 Knowledge sharing 3 7 Web 2.0 4 22 Information technology 3 8 Social Networking Sites 4 8 Big data 3 8 Privacy 4 6 Cloud computing 3 7 Innovation 4 18 Firm performance 3 19 Validity 4 14 E-government 3 9 Institutional mechanisms Fuente: Elaboración propia (2018). Como resultado de la visualización de las palabras clave en el mapa bibliométrico se obtuvieron 6 grandes grupos temáticos, que configuraron los principales focos emergentes de investigación en el área BIC: Cluster 1: “Medios de comunicación sociales” (26%). Agrupó un total de 96 ítems, las palabras clave con mayor peso fueron: Social media; Facebook; social capital; Knowledge management; Open government; affordances; user-generated content; social network analysis; text mining; knowledge sharing; Social Networks; blog; Communication; online reviews. Cluster 2: “Evaluación de la investigación y nuevos indicadores basados en la Web 2.0” (22,7%). Incluyó un total de 84 ítems, entre las palabras clave con mayor peso se situaron: Twitter; Research evaluation; Web of Science; Citation análisis; Altmetrics; Bibliometrics; Scopus; Webometrics; Google scholar; H-index; Online reference managers; Microblogging; Mendeley; Scientometrics; University rankings; Database coverage; Research metrics. Cluster 3: “Confianza en los entornos virtuales” (19,6%). Integró un total de 72 ítems, las palabras clave con mayor peso: trust; validity; qualitative; E-commerce; theory development; qualitative análisis; institutional mechanisms; Satisfaction; Big data; privacy; credibility; e-loyalty; Social comerse. Cluster 4: “Modelo de aceptación de las Tecnologías de la Información (TIs)” (14%). Agrupó un total de 52 ítems, las palabras clave con mayor peso: technology adoption; E-government; technology acceptance model; Unified Theory of Acceptance and Use of Technology (UTAUT); structural equation modelling; electronic health records. Cluster 5: “Tecnología de la Información (TI) y resultados de las empresas” (9,3%). Incluyó un total de 34 ítems, las palabras clave con mayor peso: Information technology; firm performance; resource-based view; revenue growth; cost reduction; profitability; design science; design theory; information systems. Cluster 6: “Plataformas de comercio electrónico” (8,4%). Agrupó un total de 31 ítems, las palabras clave con mayor peso: collaboration; electronic commerse; platforms; architecture; qualitative methods; virtual teams; innovation; outsourcing; offshore software development; environment. Discusión Aunque se han publicado numerosos estudios bibliométricos sobre el análisis de co-palabras en el área BIC, la novedad de la presente investigación residió en que se realizó sobre un reducido grupo de documentos excelentes (“core documents”). Para este propósito se utilizó el recurso analítico “Essential Science Indicators” y el indicador “Highly cited papers” de WoS. La búsqueda en WoS arrojó 347 documentos “altamente citados”. En esa muestra se seleccionaron 369 palabras clave con las que se creó un mapa bidimensional que se utilizó para identificar y visualizar los principales focos de interés y frentes emergentes en el dominio científico BIC. En la interpretación del mapa resultante se tuvo en cuenta el número de palabras clave dentro de cada cluster, o agrupación, el número de frecuencia de cada palabra clave, su peso (esto es, su correspondiente valor de asociación), su interrelación y su posición espacial. En el centro del mapa, se posicionó el área temática de mayor relevancia en BIC durante el periodo analizado (cluster 1). Este grupo temático se identificó con el campo de los medios de comunicación sociales o simplemente medios sociales. Según las palabras clave posicionadas en este conglomerado, el frente de investigación identificado se vinculó al conjunto de herramientas y plataformas digitales, que se desarrollaron sobre los fundamentos tecnológicos de la Web 2.0, considerada una segunda generación de la Web, basada en las comunicaciones de los usuarios a través de una gran variedad de servicios que fomentan el intercambio de información, tales como redes sociales, blogs, wikis o servicios multimedia interconectados (O’Reilly, 2007). En general, este grupo temático estuvo relacionado con las plataformas que utilizan la inteligencia colectiva para proporcionar servicios interactivos y gestión del conocimiento en la red, donde el usuario tiene control para publicar sus datos y compartirlos con los demás. La segunda sub-área con mayor relevancia identificada se correspondió con la evaluación de investigación (cluster 2). Este conglomerado mostró la consolidación y relevancia de los estudios bibliométricos durante este periodo, tales como la aplicación de los indicadores de productividad, impacto y análisis de citas en la literatura académica (identificados por las palabras clave h-index, Web of Science, Scopus o CrossRed). A esta importante línea temática se sumó una nueva visión alternativa del análisis de la actividad científica (con el surgimiento de la Web 2.0 y las nuevas plataformas en línea y la incursión de los nuevos indicadores para medir la comunicación científica), tales como las Altmetrics y Webometrics. Este enfoque emergente estuvo dedicado al estudio de otros aspectos del impacto de un trabajo, tales como número de visualizaciones o comentarios por parte de los investigadores en Twitter, revistas, blogs científicos, u otros medios de comunicación sociales. Las palabras clave incluidas en este grupo también reflejaron las aplicaciones Web para gestionar y compartir referencias bibliográficas y documentos de investigación (como “Mendeley” o “CiteUlik”), que se establecen como la base para el desarrollo de redes sociales en línea de investigadores y en las cuales se identifican y referencian artículos científicos y académicos. Se identificó otro frente de investigación dedicado a la implementación de la confianza y seguridad en los entornos virtuales (cluster 3). La palabra clave “trust” se configuró como un término esencial en este bloque temático, constatándose que, con el aumento de las tecnologías sociales y la interconexión de las personas en la red Internet, hay una necesidad de implementar mecanismos de confianza y seguridad que permitan reducir los riesgos percibidos en las redes de comunicaciones. Los estudios sobre la confianza se establecieron como tema central en el contexto online donde puede haber mucha incertidumbre. Por tanto, se comprobó que la implementación de las Tecnologías de la Información (TIs) en los entornos virtuales del comercio electrónico y social ha sido una cuestión relevante para los investigadores del campo BIC. Otra línea de investigación estuvo centrada en los modelos de adopción y aceptación de las TIs, en el que se agruparon estudios sobre cómo los usuarios llegan a aceptar y utilizar las nuevas tecnologías (cluster 4). Los modelos más estudiados, según el análisis de co-palabras, partieron de la perspectiva del usuario como principal fuente de innovación en las organizaciones y se centraron en algunos de los siguientes sistemas: “Modelo de Aceptación de la Tecnología” (TAM, Technology Acceptance Model) y “Teoría Unificada de Aceptación y Uso de Tecnología” (UTAUT, Unified Theory of Acceptance and Use of Technology). Las palabras clave en este grupo temático se centraron en los diversos factores que influyen en la adopción de una TI, como: utilidad percibida por los usuarios, facilidad de uso o influencia social. Además, se identificó un nodo importante relativo a la adopción de tecnologías por parte de los profesionales de la salud y el acceso a las historias clínicas digitales. Por último, el mapa mostró que el desarrollo de las TIs (en el contexto del comercio electrónico, “e-commerce”, junto el crecimiento de la Web 2.0 y el impulso de las plataformas sociales y digitales) fue esencial para promover la colaboración de contenidos generados por los usuarios (cluster 5 y cluster 6). Se evidenció que los trabajos sobre las plataformas digitales, a través de las cuales los usuarios se conectan con redes de expertos en el ámbito de los procesos de negocio, han experimentado un enorme crecimiento en los últimos años. La aplicación de las TIs en estas plataformas se configuró como un factor importante en el éxito del modelo de comercio electrónico, debido a que la selección del tipo adecuado de plataforma puede dar lugar a la eficacia en la gestión de todas las tareas relacionadas con los sitios Web de compra online. Conclusión Con la aplicación del método de análisis de co-palabras se logró visualizar la estructura conceptual de la categoría BIC incluida en WoS, a partir de los artículos muy citados, durante el periodo 2007-2017. La aplicación de indicadores bibliométricos relacionales nos permitió destacar cuáles fueron los temas de mayor interés en este periodo temporal. Las principales conclusiones que se extrajeron se exponen a continuación. Primera, se constató el auge de los estudios sobre medios y redes sociales en la Web 2.0, caracterizada principalmente por la participación del usuario como contribuidor activo de los contenidos de la Web y de los sitios que facilitan la edición, publicación, interoperabilidad o intercambio de contenidos generados por los propios usuarios. Segunda, se comprobó el interés por la evaluación de la investigación junto con la irrupción de nuevas métricas para medir la actividad científica, como las Altmetrics, cuyo origen se inició en el registro de información en plataformas sociales y académicas en el contexto de la Web 2.0. Tercera, se evidenció la importancia de la aplicación de las TIs para mejorar la confianza y seguridad en los entornos virtuales. Cuarta, se destacaron los estudios sobre los modelos de adopción de las TIs desde el punto de vista de la utilidad percibida por los usuarios, tales como facilidad de uso e influencia social, así como su uso por parte de los profesionales de la salud. Quinta, se verificó el crecimiento progresivo de la implementación de las TIs en las plataformas digitales para acrecentar la productividad de las empresas en el comercio electrónico. Para complementar las conclusiones anteriores es necesario mencionar una cuestión innegable: la categoría BIC surge de la fusión de dos sub-campos, Ciencias de la Información (Information Science) y Biblioteconomía (Library Science). Estas dos sub-áreas difieren en su naturaleza y en los problemas abordados aunque tengan una fuerte relación interdisciplinaria. La mayoría de las palabras clave seleccionadas estuvieron relacionadas con temas vinculados a la Ciencia de la Información. Un posible factor adicional, que explicaría este comportamiento, fue que muchas de las revistas en las que se publicaron los artículos altamente citados estuvieron también orientadas a las Ciencias de la Información. La selección de las revistas que representan una disciplina constituye un proceso esencial y, por tanto, pudo afectar a los resultados obtenidos. En consecuencia, una posible línea de investigación futura sería aplicar el análisis de co-palabras a los artículos muy citados en revistas específicas pertenecientes únicamente al campo de la Biblioteconomía. Referencias Aksnes, D.W. Characteristics of highly cited papers. Research Evaluation, v.12, n.3, p.159-170, 2003. Aksnes D.W Characteristics of highly cited papers Research Evaluation 12 3 159 170 2003 Batagelj, V.; Mrvar, A. Pajek: A program for large network analysis. Connections, v.21, n.2, p.47-57, 1998. Batagelj V. Mrvar A Pajek: A program for large network analysis Connections 21 2 47 57 1998 Bauer, J.; Leydesdorff, L.; Bornmann, L. Highly cited papers in Library and Information Science (LIS): Authors, institutions, and network structures. Journal of the Association for Information Science and Technology, v.67, n.12, p.3095-3100, 2016. Bauer J. Leydesdorff L. Bornmann L Highly cited papers in Library and Information Science (LIS): Authors, institutions, and network structures Journal of the Association for Information Science and Technology 67 12 3095 3100 2016 Blessinger, K.; Hrycaj, P. Highly cited articles in library and information science: An analysis of content and authorship trends. Library and Information Science Research, v.32, n.2, p.156-162, 2010. Blessinger K. Hrycaj P Highly cited articles in library and information science: An analysis of content and authorship trends Library and Information Science Research 32 2 156 162 2010 Callon, M.; Courtial, J.; Penan, H. Cienciometría. Gijón: Trea, 1995. Callon M. Courtial J. Penan H Cienciometría Gijón Trea 1995 Cho, J. Intellectual structure of the institutional repository field: A co-word analysis. Journal of Information Science, v.40, n.3, p.386-397, 2014. Cho J Intellectual structure of the institutional repository field: A co-word analysis Journal of Information Science 40 3 386 397 2014 Chuang, K.Y.; Wang, M.H.; Ho, Y.S. High-impact papers presented in the subject category of water resources in the Essential Science Indicators database of the Institute for Scientific Information. Scientometrics, v.87, n.3, p.551-562, 2011. Chuang K.Y. Wang M.H. Ho Y.S High-impact papers presented in the subject category of water resources in the Essential Science Indicators database of the Institute for Scientific Information Scientometrics 87 3 551 562 2011 Csajbók, E. et al. Hirsch-index for countries based on Essential Science Indicators data. Scientometrics, v.73, n.1, p.91-117, 2007. Csajbók E. Hirsch-index for countries based on Essential Science Indicators data Scientometrics 73 1 91 117 2007 Ding, Y.; Chowdhury, G.G.; Foo, S. Bibliometric cartography of information retrieval research by using co-word analysis. Information Processing and Management, v.37, n.6, p.817-842, 2001. Ding Y. Chowdhury G.G. Foo S Bibliometric cartography of information retrieval research by using co-word analysis Information Processing and Management 37 6 817 842 2001 Fu, H.Z. et al. Characteristics of research in China assessed with Essential Science Indicators. Scientometrics, v.88, n.3, p.841-862, 2011. Fu H.Z. Characteristics of research in China assessed with Essential Science Indicators Scientometrics 88 3 841 862 2011 Glänzel, W.; Schubert, A. Some facts and figures on highly cited papers in the sciences, 1981-1985. Scientometrics, v.25, n.3, p.373-380, 1992. Glänzel W. Schubert A Some facts and figures on highly cited papers in the sciences, 1981-1985 Scientometrics 25 3 373 380 1992 Hu, J.; Zhang, Y. Research patterns and trends of recommendation system in China using co-word analysis. Information Processing and Management, v.51, n.4, p.329-339, 2015. Hu J. Zhang Y Research patterns and trends of recommendation system in China using co-word analysis Information Processing and Management 51 4 329 339 2015 Ivanović, D.; Ho, Y. Highly cited articles in the Information Science and Library Science category in Social Science Citation Index: A bibliometric analysis. Journal of Librarianship and Information Science, v.48, n.1, p.36-46, 2016. Ivanović D. Ho Y Highly cited articles in the Information Science and Library Science category in Social Science Citation Index: A bibliometric analysis Journal of Librarianship and Information Science 48 1 36 46 2016 Kostoff, R.; Shlesinger, M. CAB: Citation-assisted background. Scientometrics, v.62, n.2, p.199-212, 2005. Kostoff R. Shlesinger M CAB: Citation-assisted background Scientometrics 62 2 199 212 2005 Kostoff, R.N. et al. The structure and infrastructure of the global nanotechnology literature. Journal of Nanoparticle Research, v.8, n.3-4, p.301-321, 2006. Kostoff R.N. The structure and infrastructure of the global nanotechnology literature Journal of Nanoparticle Research 8 3-4 301 321 2006 Levitt, J.M.; Thelwall, M. The most highly cited Library and Information Science articles: Interdisciplinarity, first authors and citation patterns. Scientometrics, v.78, n.1, p.45-67, 2009. Levitt J.M. Thelwall M The most highly cited Library and Information Science articles: Interdisciplinarity, first authors and citation patterns Scientometrics 78 1 45 67 2009 Leydesdorff, L.; Hellsten, I. Measuring the meaning of words in contexts: An automated analysis of controversies about ‘Monarch butterflies’, ‘Frankenfoods’, and ‘stem cells’. Scientometrics, v.67, n.2, p.231-258, 2006. Leydesdorff L. Hellsten I Measuring the meaning of words in contexts: An automated analysis of controversies about ‘Monarch butterflies’, ‘Frankenfoods’, and ‘stem cells’ Scientometrics 67 2 231 258 2006 Leydesdorff, L.; Welbers, K. The semantic mapping of words and co-words in contexts. Journal of Informetrics, v.5, n.3, p.469-475, 2011. Leydesdorff L. Welbers K The semantic mapping of words and co-words in contexts Journal of Informetrics 5 3 469 475 2011 Li, T.; Ho, Y.S.; Li, C.Y. Bibliometric analysis on global Parkinson’s disease research trends during 1991-2006. Neuroscience Letters, v.441, n.3, p.248-252, 2008. Li T. Ho Y.S. Li C.Y Bibliometric analysis on global Parkinson’s disease research trends during 1991-2006 Neuroscience Letters 441 3 248 252 2008 Liberatore, G.; Herrero-Solana, V. Caracterización temática de la investigación en Ciencia de la Información en Brasil en el período 2000-2009. Transinformação, v.25, n.3, p.225-235, 2013. http://dx.doi.org/10.1590/S0103-37862013000300005 Liberatore G. Herrero-Solana V Caracterización temática de la investigación en Ciencia de la Información en Brasil en el período 2000-2009 Transinformação 25 3 225 235 2013 http://dx.doi.org/10.1590/S0103-37862013000300005 Noyons, E.C.M.; Moed, H.F.; Luwel, M. Combining mapping and citation analysis for evaluative bibliometric purposes: A bibliometric study. Journal of the Association for Information Science and Technology, v.50, n.2, p.115-131, 1999. Noyons E.C.M. Moed H.F. Luwel M Combining mapping and citation analysis for evaluative bibliometric purposes: A bibliometric study Journal of the Association for Information Science and Technology 50 2 115 131 1999 Olmeda-Gómez, C.; Ovalle-Perandones, M.A.; Perianes-Rodríguez, A. Co-word analysis and thematic landscapes in Spanish information science literature, 1985-2014. Scientometrics, v.113, n.1, p.195-217, 2017. Olmeda-Gómez C. Ovalle-Perandones M.A. Perianes-Rodríguez A Co-word analysis and thematic landscapes in Spanish information science literature, 1985-2014 Scientometrics 113 1 195 217 2017 O’Reilly, T. What is Web 2.0: Design patterns and business models for the next generation of software. International Journal of Digital Economics, n.65, p.17-37, 2007. O’Reilly T What is Web 2.0: Design patterns and business models for the next generation of software International Journal of Digital Economics 65 17 37 2007 Ravikumar, S.; Agrahari, A.; Singh, S.N. Document mapping the intellectual structure of scientometrics: A co-word analysis of the journal scientometrics (2005-2010). Scientometrics, v.102, n.1, p.929-955, 2015. Ravikumar S. Agrahari A. Singh S.N Document mapping the intellectual structure of scientometrics: A co-word analysis of the journal scientometrics (2005-2010) Scientometrics 102 1 929 955 2015 Small, H. Why authors think their papers are highly cited. Scientometrics, v.60, n.3, p.305-316, 2004. Small H Why authors think their papers are highly cited Scientometrics 60 3 305 316 2004 Small, H. Tracking and predicting growth areas in science. Scientometrics, v.68, n.3, p.595-610, 2006. Small H Tracking and predicting growth areas in science Scientometrics 68 3 595 610 2006 Van Eck, N.J. Methodological advances in bibliometric mapping science. Rotterdam: Erasmus University Rotterdam, 2011. Disponible en: <https://repub.eur.nl/pub/26509>. Acceso en: 10 marzo 2018. Van Eck N.J Methodological advances in bibliometric mapping science Rotterdam Erasmus University Rotterdam 2011 https://repub.eur.nl/pub/26509 Van Eck, N.J.; Waltman, L. How to normalize co-occurrence data? An analysis of some well-known similarity measures. Journal of the Association for Information Science and Technology, v.60, n.8, p.1635-1651, 2009. Van Eck N.J. Waltman L How to normalize co-occurrence data? An analysis of some well-known similarity measures Journal of the Association for Information Science and Technology 60 8 1635 1651 2009 Van Eck, N.J.; Waltman, L. Software survey: VOSviewer, a computer program for bibliometric mapping. Scientometrics, v.84, n.2, p.523-538, 2010. Van Eck N.J. Waltman L Software survey: VOSviewer, a computer program for bibliometric mapping Scientometrics 84 2 523 538 2010 Van Eck, N.J.; Waltman, L. VOS: A new method for visualizing similarities between objects. In: Lenz, H.J., Decker, R. (Ed.). Studies in classification, data analysis, and knowledge organization. Berlin: Springer, 2007. p.299-306. Van Eck N.J. Waltman L VOS: A new method for visualizing similarities between objects Lenz H.J. Decker R Studies in classification, data analysis, and knowledge organization Berlin Springer 2007 299 306 Van Raan, A.F.J. Measurement of central aspects of scientific research: Performance, interdisciplinarity. Measurement, v.3, n.1, p.1-19, 2005. Van Raan A.F.J Measurement of central aspects of scientific research: Performance, interdisciplinarity Measurement 3 1 1 19 2005 Waltman, L.; Van Eck, N.J.; Noyons, E.C.M. A unified approach to mapping and clustering of bibliometric networks. Journal of Informetrics, v.4, n.4, p.629-635, 2010. Waltman L. Van Eck N.J. Noyons E.C.M A unified approach to mapping and clustering of bibliometric networks Journal of Informetrics 4 4 629 635 2010 Wang, J. Citation time window choice for research impact evaluation. Scientometrics, v.94, n.3, p.851-872, 2013. Wang J Citation time window choice for research impact evaluation Scientometrics 94 3 851 872 2013 Wasserman, S.; Faust, K. Social networks: Methods and applications. Cambridge: Cambridge University Press, 1994. Wasserman S. Faust K Social networks: Methods and applications Cambridge Cambridge University Press 1994 Zhang, J. et al. Comparing keywords plus of WOS and author keywords: A case study of patient adherence research. Journal of the Association for Information Science and Technology, v.67, n.4, p.967-972, 2016. Zhang J. Comparing keywords plus of WOS and author keywords: A case study of patient adherence research Journal of the Association for Information Science and Technology 67 4 967 972 2016