Procesamiento de datos



Toda aquella información que ha podido compilarse en relación con Procesamiento de datos ha sido rigurosamente revisada y ordenada a fin de que te sea de lo más útil. Seguro que acertamos si decimos que has llegado hasta esta Gran Enciclopedia explorando el modo de conocer algo más sobre Procesamiento de datos. Por lo general es fácil extraviarse en internet en el estrecho laberinto de webs que tratan sobre Procesamiento de datos y que, pese a todo, parece que no ofrecen lo que esperamos conocer sobre Procesamiento de datos. Es a raíz de esto que deseamos que si la información que te damos a continuación acerca de Procesamiento de datos te complace, nos lo comentes. De igual forma, si aquella información sobre Procesamiento de datos que te ofrecemos no es aquella que deseabas, también haznoslo saber, de esa manera tendremos la posibilidad de mejorar día tras día este sitio web.

La minería de datos , también conocida bajo la expresión de minería de datos , minería de datos , minería de datos , minería de datos , o extracción de conocimiento a partir de datos , se refiere a la extracción de un know o '' conocimiento a partir de grandes cantidades de datos , por automático o semi- métodos automáticos.

Propone utilizar un conjunto de algoritmos de diversas disciplinas científicas como la estadística , la inteligencia artificial o la informática , para construir modelos a partir de los datos , es decir encontrar estructuras o patrones interesantes según criterios fijados de antemano, y extraer como tanto conocimiento como sea posible .

El uso industrial u operativo de este conocimiento en el mundo profesional permite resolver una amplia variedad de problemas, que van desde la gestión de la relación con el cliente hasta el mantenimiento preventivo , pasando por la detección de fraudes y la optimización de sitios web . También es la forma en que funciona el periodismo de datos .

La minería de datos sigue, en la escalada de la minería de datos empresariales, la inteligencia empresarial . Esto permite observar un hecho, como la facturación , y explicarlo como la facturación disminuyó por producto, mientras que la minería de datos permite clasificar los hechos y predecirlos en cierta medida o esclarecerlos. revelando, por ejemplo, las variables o parámetros que permitan comprender por qué la facturación de un punto de venta es superior a la de otro.

Historia

La generación de modelos a partir de una gran cantidad de datos no es un fenómeno reciente. Para que haya creación de modelos, debe haber recopilación de datos. En China atribuimos al mítico Emperador Yao , el deseo de identificar los cultivos en el 2238 a.C. ANUNCIO; en Egipto el faraón Amasis organizar el censo de población en el V º  siglo  aC. AD No fue hasta la XVII ª  siglo que comenzamos a analizar los datos para tener en cuenta las características comunes. En 1662 , John Graunt publicó su libro Observaciones naturales y políticas hechas sobre las facturas de mortalidad  " en el que analizaba la mortalidad en Londres y trataba de predecir la aparición de la peste bubónica. En 1763 , Thomas Bayes muestra que podemos determinar, no solo las probabilidades a partir de las observaciones resultantes de un experimento, sino también los parámetros relacionados con estas probabilidades. Presentado en el caso particular de una distribución binomial , este resultado es extendido independientemente por Laplace , lo que lleva a una formulación general del teorema de Bayes . Legendre publicó en 1805 un ensayo sobre el método de mínimos cuadrados que permite comparar un conjunto de datos con un modelo matemático. Sin embargo, los costosos cálculos manuales no permiten que estos métodos se utilicen fuera de un pequeño número de casos simples y esclarecedores.

De 1919 a 1925, Ronald Fisher desarrolló el análisis de varianza como herramienta para su proyecto de inferencia estadística médica. La década de 1950 vio la aparición de computadoras aún costosas y técnicas de cálculo por lotes en estas máquinas. Simultáneamente, van surgiendo métodos y técnicas como la segmentación , la clasificación (entre otros por el método de nubes dinámicas ), una primera versión de las futuras redes neuronales que se denomina Perceptron , y unos algoritmos autoevolutivos que luego se denominarán genéticos . En la década de 1960 llegaron los árboles de decisión y el método del centro móvil ; estas técnicas permiten a los investigadores explotar y descubrir modelos cada vez más precisos. En Francia , Jean-Paul Benzécri desarrolló el análisis de correspondencia en 1962 . Sin embargo, permanecemos en la perspectiva del procesamiento por lotes .

En 1969 apareció el trabajo de Myron Tribus Descripciones, decisiones y diseños racionales que generaliza los métodos bayesianos en el cálculo automático (profesor en Dartmouth , utiliza bastante lógicamente el lenguaje BASIC , que fue creado unos años antes, y su interactividad ). La traducción al francés estuvo disponible en 1973 con el nombre de Decisiones racionales en incertidumbre . Una idea importante del trabajo es la mención del teorema de Cox-Jaynes que muestra que cualquier adquisición de un modelo se realiza de acuerdo con las reglas de Bayes (excepto por un homomorfismo ) o conduce a inconsistencias. Otra es que entre todas las distribuciones de probabilidad que satisfacen las observaciones (su número es infinito), es necesario elegir la que contenga la menor arbitrariedad (por lo tanto, la menor información agregada y, en consecuencia, la de máxima entropía . La probabilidad se considera allí como una simple traducción digital de un estado de conocimiento, sin una connotación frecuentista subyacente. Finalmente, este trabajo populariza la notación de probabilidades en decibelios, lo que hace que la regla de Bayes sea aditiva y permita cuantificar de manera única la provisión de observación en el ahora independientes dando varias estimaciones precedentes previos (ver inferencia bayesiana ).

La llegada gradual de las microcomputadoras facilita la generalización de estos métodos bayesianos sin sobrecargar los costos. Esto estimula la investigación y los análisis bayesianos se están generalizando, especialmente porque Tribus ha demostrado su convergencia, a medida que avanzan las observaciones, hacia los resultados de la estadística clásica, al tiempo que permite refinar el conocimiento a lo largo del tiempo sin requerir los mismos tiempos de adquisición (ver también Plan de experimento ). .

Se inicia entonces la liberación del protocolo estadístico clásico: ya no es necesario plantear una hipótesis y verificarla o no a posteriori . Por el contrario, las estimaciones bayesianas construirán estas hipótesis a medida que se acumulen las observaciones.

La expresión   minería de datos   tenía una connotación peyorativa a principios de la década de 1960, expresando el desprecio de los estadísticos por los enfoques de investigación de correlación sin iniciar hipótesis [ref. necesario] . Se olvida, entonces Rakesh Agrawal lo vuelve a utilizar en la década de 1980 cuando inició su investigación en bases de datos de un volumen de 1  MB . El concepto de minería de datos apareció por primera vez, según Pal y Jain, en las conferencias IJCAI en 1989 . Gregory Piatetsky-Shapiro buscó un nombre para este nuevo concepto a fines de la década de 1980 en GTE Laboratories . Al estar la   minería de datos   protegida por derechos de autor, utilizó la expresión   Descubrimiento de conocimientos en bases de datos   (KDD).

Luego, en la década de 1990, aparecieron técnicas de aprendizaje automático como las SVM en 1998 , que complementaron las herramientas del analista.

Al principio del XXI °  siglo, una empresa como Amazon.com utiliza todas estas herramientas para ofrecer a sus clientes productos que les pueden interesar.

Aplicaciones industriales

Por objetivos

Hoy en día, las técnicas de minería de datos se pueden utilizar en campos completamente diferentes con propósitos muy específicos. Las empresas de venta por correo utilizan esta técnica para analizar el comportamiento del consumidor para identificar similitudes en el comportamiento, otorgar tarjetas de fidelización o establecer listas de productos que se ofrecerán para una venta adicional (venta cruzada).

Un correo directo ( mailing ) utilizado para prospectar nuevos clientes tiene una tasa de respuesta del 10% en promedio. Las empresas de marketing utilizan la minería de datos para reducir el costo de adquirir un nuevo cliente al clasificar a los prospectos de acuerdo con criterios que les permiten aumentar las tasas de respuesta a los cuestionarios enviados.

Estas mismas empresas, pero también otras como bancos, operadores de telefonía móvil o aseguradoras, buscan a través de la minería de datos minimizar el desgaste (o churn ) de sus clientes ya que el costo de mantener un cliente es menos importante que el de adquirir uno nuevo.

Los servicios de policía de todos los países buscan caracterizar los delitos (responda la pregunta: "¿Qué es un delito 'normal'") Y el comportamiento de los delincuentes (responda la pregunta: ¿comportamiento delictivo "normal" ) Para prevenir el delito y limitar los riesgos y peligros para la población.

El scoring de clientes en los bancos es ahora bien conocido, permite identificar "buenos" clientes, sin factores de riesgo ( evaluación de riesgos de los clientes ) a los que entidades financieras, bancos, compañías de seguros, etc., pueden ofrecer precios adaptados y productos atractivos, limitando al mismo tiempo el riesgo de no reembolso o impago o incluso de pérdida en el caso del seguro.

Los centros de llamadas utilizan esta técnica para mejorar la calidad del servicio y permitir una respuesta adecuada al operador para la satisfacción del cliente.

En la búsqueda del genoma humano , se han utilizado técnicas de minería de datos para descubrir genes y su función.

Se podrían encontrar otros ejemplos en otros campos, pero lo que podemos notar ahora mismo es que todos estos usos permiten caracterizar un fenómeno complejo (comportamiento humano, expresión de un gen), para comprenderlo mejor, con el fin de reducir la investigación. o costos operativos vinculados a este fenómeno, o para mejorar la calidad de los procesos vinculados a este fenómeno.

Por sector empresarial

La industria se ha dado cuenta de la importancia del patrimonio constituido por sus datos y busca explotarlo utilizando inteligencia empresarial y minería de datos. Las empresas más avanzadas en este campo se encuentran en el sector terciario . Según el sitio kdnuggets.com, la distribución en Estados Unidos , como porcentaje del total de respuestas a la encuesta, del uso de la minería de datos por sector de actividad se realiza en 2010 de la siguiente manera:

Industrias y campos en los que se utiliza la minería de datos (%).
CRM / análisis de consumo
  26,8
Banco
  19,2   13,1
Detección de fraudes
  12,7   11,3   11,3
  10,8   10,3   10,3
  9,9   9,9
Web
  8,9
Médico
  8.0   8.0   8.0
Calificación crediticia
  8.0
  7.0
  6.6
  6.6
Gobierno, militar
  6.1

Investigación y think tanks

Como se muestra en el histograma anterior, la industria está muy interesada en el tema, particularmente en términos de estándares e interoperabilidad que facilitan el uso de herramientas de TI de diferentes editores. Además, las empresas, la educación y la investigación han contribuido enormemente a la evolución y mejora (en términos de rigor, por ejemplo) de métodos y modelos; un artículo publicado en 2008 por la Revista Internacional de Tecnología de la Información y Toma de Decisiones resume un estudio que rastrea y analiza esta evolución. Algunos actores han pasado de la investigación a la industria.

Universidades como Konstanz en Alemania , Dortmund en Carolina del Norte , Estados Unidos , Waikato en Nueva Zelanda y Université Lumière Lyon 2 en Francia, han llevado a cabo investigaciones para encontrar nuevos algoritmos y mejorar los ancianos [fuente insuficiente] . También han desarrollado software que permite a sus estudiantes, profesores e investigadores progresar en este campo, permitiendo así que la industria se beneficie de su progreso.

Por otro lado, se han creado muchos grupos y asociaciones interprofesionales para reflexionar y apoyar el desarrollo de la minería de datos. El primero de estos grupos profesionales en el campo es el grupo de interés de la Asociación de Maquinaria de Computación sobre gestión del conocimiento y minería de datos, el SIGKDD . Desde 1989 organiza una conferencia internacional anual y publica nuevos resultados, reflexiones y desarrollos de sus miembros. Así, desde 1999 , esta organización ha publicado una revisión semestral titulada Exploraciones SIGKDD  " .

Se organizan otras conferencias sobre minería de datos e informática, por ejemplo:

  • DMIN - Conferencia internacional sobre minería de datos
  • DMKD - Problemas de investigación sobre minería de datos y descubrimiento de conocimientos
  • ECML-PKDD - Conferencia europea sobre aprendizaje automático y principios y práctica del descubrimiento del conocimiento en bases de datos
  • ICDM - IEEE International Conference on Data Mining
  • MLDM: aprendizaje automático y minería de datos en el reconocimiento de patrones
  • SDM - Conferencia Internacional SIAM sobre Minería de Datos
  • EDM - Conferencia internacional sobre minería de datos educativos
  • ECDM - Conferencia europea sobre minería de datos
  • PAKDD: la conferencia anual de Asia Pacífico sobre el descubrimiento de conocimientos y la minería de datos

Estas investigaciones y resultados financieramente convincentes obligan a los equipos especializados en minería de datos a realizar un trabajo metódico en proyectos estructurados.

Proyectos, métodos y procesos

Con el tiempo han surgido buenas prácticas para mejorar la calidad de los proyectos. Entre estas, las metodologías ayudan a los equipos a organizar proyectos en procesos. Entre los métodos más utilizados se encuentran la metodología SEMMA del SAS Institute y el CRISP-DM que es el método más utilizado en la década de 2010.

Método CRISP-DM

El método CRISP-DM divide el proceso de minería de datos en seis etapas, lo que permite estructurar y anclar la técnica en un proceso industrial. Más que una teoría estandarizada, es un proceso de extracción de conocimiento empresarial.

Primero debe comprender el trabajo que le hace la pregunta al analista, formalizar el problema que la organización busca resolver con respecto a los datos, comprender los problemas, conocer los criterios para el éxito del proyecto y establecer un plan inicial para lograr este objetivo. .

Entonces el analista necesita los datos correctos. Tan pronto como el equipo del proyecto sepa qué hacer, debe ir en busca de datos, textos y todo el material que les permita dar respuesta al problema. Luego tiene que evaluar la calidad, descubrir los primeros patrones aparentes para hacer hipótesis sobre los modelos ocultos.

Los datos que recopiló el equipo del proyecto son heterogéneos . Deben prepararse de acuerdo con los algoritmos utilizados, eliminando los valores atípicos o extremos, complementando los datos no especificados, por la media o por el método de los K vecinos más cercanos , eliminando los duplicados, las variables invariantes y las que tienen. demasiados valores perdidos, o por ejemplo discretizando las variables si el algoritmo a utilizar así lo requiere, como es el caso por ejemplo del análisis de correspondencias múltiples ACM, el análisis discriminante DISQUAL o el método de Condorcet .

Una vez que los datos estén listos, debes explorarlos. El modelado agrupa clases de tareas que pueden usarse solas o además de otras con fines descriptivos o predictivos.

La segmentación es la tarea de descubrir grupos y estructuras en los datos que de alguna manera sean similares, sin utilizar estructuras conocidas a priori en los datos. La clasificación es la tarea de generalización de estructuras conocidas y aplicarlas a los nuevos datos.

La regresión intenta encontrar una función que modele datos continuos, es decir, no discretos, con la menor tasa de error para predecir valores futuros. La asociación busca relaciones entre elementos. Por ejemplo, un supermercado puede recopilar datos sobre los hábitos de compra de sus clientes. Utilizando las reglas de asociación, el supermercado puede determinar qué productos se compran juntos con frecuencia y, por lo tanto, utilizar este conocimiento para fines de marketing . En la literatura, esta técnica a menudo se denomina "análisis de la canasta familiar".

Se trata entonces de evaluar los resultados obtenidos según los criterios de éxito del oficio y de evaluar el propio proceso para revelar los vacíos y los pasos desatendidos. Como resultado de esto, se debe tomar la decisión de implementar o iterar el proceso mejorando lo que salió mal o no.

Luego viene la fase de entrega y evaluación final del proyecto. Se diseñan planes de control y mantenimiento y se elabora el informe de fin de proyecto. Para implementar un modelo predictivo se utiliza el lenguaje PMML , basado en XML . Se utiliza para describir todas las características del modelo y transmitirlo a otras aplicaciones compatibles con PMML.

Otros metodos

SEMMA

La metodología SEMMA ( muestrear, luego explorar, modificar, modelar , evaluar para "muestrear, luego explorar, modificar, modelar, evaluar"), inventada por el Instituto SAS , se centra en las actividades técnicas de la minería de datos. Aunque SAS lo presenta solo como una organización lógica de las herramientas de minería de SAS Enterprise , SEMMA se puede utilizar para organizar el proceso de minería de datos independientemente del software utilizado.

Seis Sigma (DMAIC)

Six Sigma ( DMAIC es un acrónimo que caracteriza el método de la siguiente manera: Definir, Medir, Analizar, Mejorar, Controlar para "Definir, Medir, Analizar, Mejorar, Controlar") es una metodología estructurada y orientada a datos, cuyo objetivo es el eliminación de defectos, despidos y problemas de control de calidad de todo tipo en las áreas de producción, prestación de servicios, gestión y otras actividades comerciales. La minería de datos es un área en la que se puede aplicar esta guía metodológica. [árbitro. necesario]

Torpeza para evitar

Robert Nisbet, John Elder y Gary Miner han descrito los errores más comunes que encuentran los mineros de datos con experiencia y sin experiencia en su Manual de aplicaciones de análisis estadístico y minería de datos .

El primero es hacer la pregunta incorrecta. Lo que lleva a buscar en el lugar equivocado. La pregunta inicial debe formularse correctamente para que la respuesta sea útil.

Luego, se conforma con una pequeña cantidad de datos para un problema complejo. Debemos tener datos para explorarlos, y los casos interesantes para el excavador son raros de observar, por lo que debemos tener a su disposición una gran cantidad de datos para poder realizar muestras que tengan un valor de aprendizaje y que permitan predecir un situación, es decir, responder a una pregunta formulada, sobre los datos externos a la muestra. Además, si los datos no se adaptan a la pregunta formulada, la excavación será limitada: por ejemplo, si los datos no contienen variables a predecir, la excavación se limitará a la descripción y el analista solo podrá dividir los datos en subconjuntos coherentes ( agrupamiento ) o encontrar las mejores dimensiones que capturen la variabilidad de los datos.

La muestra, que permite aprender, debe construirse con cuidado y no muestrear a la ligera. El aprendizaje permite construir el modelo a partir de una o más muestras. Configurar la herramienta de minería de datos hasta que el modelo devuelva el 100% de los casos buscados equivale a centrarse en las particularidades y alejarse de la generalización, que es necesaria, que permite aplicar el modelo a los datos externos a la muestra. Existen técnicas para evitar el sobreajuste o sobreajuste . Estos son métodos de remuestreo como bootstrap , jackknife o validación cruzada .

En ocasiones, una sola técnica (árbol de decisión, redes neuronales ...) no es suficiente para obtener un modelo que dé buenos resultados en todos los datos. Una de las soluciones, en este caso, consistiría en un conjunto de herramientas, que se pueden utilizar una tras otra y comparar los resultados sobre los mismos datos o bien unificar las fortalezas de cada método ya sea por aprendizaje o por combinación de resultados.

Los datos y los resultados de la excavación deben colocarse en perspectiva en su contexto, y no centrarse en los datos, de lo contrario pueden surgir errores de interpretación y pérdida de tiempo y dinero.

Eliminar a priori los resultados que parecen absurdos, en comparación con lo esperado, puede ser fuente de errores porque son quizás estos resultados los que dan solución a la pregunta planteada.

Es imposible utilizar e interpretar los resultados de un modelo fuera del marco en el que fue construido. La interpretación de los resultados basados en otros casos similares pero diferentes también es una fuente de error, pero esto no es exclusivo del razonamiento de la minería de datos. Finalmente, la extrapolación de resultados, obtenidos en espacios de baja dimensión, en espacios de alta dimensión también puede conducir a errores.

Dos citas de George Box , "Todos los modelos son incorrectos, pero algunos son útiles" y "Los estadísticos son como los artistas, se enamoran de sus modelos", ilustran con humor que a veces algunos analistas de minería de datos necesitan creer en su modelo y creer que el modelo en el que están trabajando es el mejor. Usar un conjunto de modelos e interpretar la distribución de resultados es mucho más seguro.

Plan

En un proyecto de minería de datos es fundamental saber qué es importante y qué no, qué lleva tiempo y qué no; que no siempre coincide.

Estimación del tiempo a dedicar a las diferentes etapas
Tareas Cargo Importancia
en el proyecto
Inventario, preparación y exploración de datos 38% 3
Desarrollo - Validación de modelos 25% 2
Restitución de resultados 12% 4
Análisis de las primeras pruebas 10% 3
Definición de metas 8% 1
Documentación - presentaciones 7% 5

El corazón de la minería de datos es el modelado: toda la preparación se realiza según el modelo que el analista pretende producir, las tareas realizadas luego validan el modelo elegido, lo completan y lo despliegan. La tarea más seria en el modelado es determinar los algoritmos que producirán el modelo esperado. Por tanto, la cuestión importante es la de los criterios que permiten elegir este o estos algoritmos.

Algoritmos

La resolución de un problema mediante un proceso de minería de datos generalmente requiere el uso de una gran cantidad de métodos y algoritmos diferentes que son más o menos fáciles de entender y usar. Hay dos familias principales de algoritmos: métodos descriptivos y métodos predictivos.

Métodos descriptivos

Definición

Los métodos descriptivos organizan, simplifican y ayudan a comprender la información subyacente a un gran conjunto de datos.

Permiten trabajar sobre un conjunto de datos , organizados en instancias de variables, en los que ninguna de las variables explicativas de los individuos tiene especial importancia en relación con las demás. Se utilizan por ejemplo para identificar, a partir de un conjunto de individuos, grupos homogéneos en tipología, para construir estándares de comportamiento y por lo tanto desviaciones de estos estándares como la detección de fraudes de tarjetas bancarias nuevas o desconocidas. O el seguro , para hacer la compresión de la información. o compresión de imagen , etc.

Ejemplos de

Entre las técnicas disponibles, se pueden utilizar las derivadas de la estadística. Se agrupan bajo el término análisis factorial , métodos estadísticos que permiten identificar variables ocultas en un conjunto de medidas; estas variables ocultas se denominan "factores". En los análisis factoriales asumimos que si los datos dependen unos de otros es porque están vinculados a factores que les son comunes. La ventaja de los factores radica en que un pequeño número de factores explica casi tan bien los datos como el conjunto de variables, lo que resulta útil cuando hay un gran número de variables. El factor técnico se descompone principalmente el análisis de componentes principales , análisis de componentes independientes , análisis de correspondencias , análisis de correspondencias múltiples y escalamiento multidimensional .

Para fijar ideas, el análisis de componentes principales empareja variables cuantitativas que describen individuos, factores y componentes principales, de modo que la pérdida de información sea mínima. De hecho, los componentes están organizados en orden creciente de pérdida de información, siendo el primero el que menos pierde. Los componentes no se correlacionan linealmente entre sí y los individuos se proyectan sobre los ejes definidos por los factores respetando la distancia que existe entre ellos. Las similitudes y diferencias se explican por los factores.

El análisis factorial de correspondencia y MCA corresponden a variables cualitativas que describen las características de los individuos, factores utilizando la tabla de contingencia , o la tabla de Burt en el caso de MCA, de tal manera que los factores se componen de las variables numéricas que mejor separan los valores de las variables cualitativas iniciales, que dos individuos son cercanos si tienen aproximadamente los mismos valores de las variables cualitativas y que los valores de dos variables cualitativas son cercanos si son prácticamente los mismos individuos quienes las poseen.

También podemos utilizar métodos nacidos en el redil de la inteligencia artificial y más concretamente en el del aprendizaje automático . La clasificación no supervisada es una familia de métodos que permiten agrupar a los individuos en clases, cuya característica es que los individuos de la misma clase se parecen entre sí, mientras que los de dos clases diferentes son diferentes. Las clases de la clasificación no se conocen de antemano, son descubiertas por el proceso. En general, los métodos de clasificación sirven para hacer datos homogéneos que no son homogéneos a priori, y así hacer posible procesar cada clase con algoritmos sensibles a valores atípicos. En esta perspectiva, los métodos de clasificación constituyen un primer paso en el proceso de análisis.

Estas técnicas tomadas de la inteligencia artificial utilizan la partición de toda la información, pero también la recuperación . El particionamiento es el objetivo de los algoritmos que utilizan, por ejemplo, métodos como los de k-means ("nubes dinámicas" en francés), k-medoids ( k-medoids ), k-modes y k-prototypes, que podemos utilizar para encontrar valores atípicos , redes Kohonen , que también se pueden utilizar para la clasificación, el algoritmo EM o AdaBoost . La clasificación jerárquica es un caso especial en el que los productos gráficos de partición son fácilmente comprensibles. Los métodos ascendentes parten de los individuos que se agregan en clases, mientras que los métodos descendentes parten del todo y por divisiones sucesivas llegan a los individuos que componen las clases. Frente al gráfico de una clasificación ascendente se ha dibujado para mostrar cómo las clases más cercanas se vinculan entre sí para formar clases de nivel superior.

La superposición de lógica difusa es una forma de superposición del conjunto de individuos representados por las filas de una matriz donde algunos de ellos tienen una probabilidad distinta de cero de pertenecer a dos clases diferentes. El algoritmo más conocido de este tipo es FCM ( Fuzzy c-means ).

También debemos mencionar la iconografía de correlaciones asociada al uso de interacciones lógicas , un método geométrico que se presta bien al análisis de redes complejas de relaciones múltiples.

En bioinformática se utilizan técnicas de doble clasificación para agrupar simultáneamente en diferentes clases los individuos y las variables que los caracterizan.

Para dar cuenta de la utilidad de estos métodos de recuperación, hay que recordar que la clasificación es un problema cuya gran complejidad fue definida por Eric Bell . El número de particiones de un conjunto de objetos es igual a: . Por lo tanto, es mejor tener métodos eficientes y rápidos para encontrar una partición que responda al problema planteado en lugar de pasar por todas las soluciones posibles.

Finalmente, cuando el análisis no se centra en individuos, ítems u objetos, sino en las relaciones que existen entre ellos, la búsqueda de reglas de asociación es la herramienta adecuada. Esta técnica se utilizó originalmente para el análisis del carrito de la compra o el análisis de secuencias. En este caso, permite saber qué productos se compran simultáneamente, en un supermercado por ejemplo, por un gran número de clientes; también se aplica para resolver problemas de análisis de rutas de navegación de sitios web. La búsqueda de reglas de asociación se puede utilizar de forma supervisada; el método APriori , GRI , Carma, ARD o incluso los algoritmos PageRank utilizan esta técnica.

Métodos predictivos

Definición

El propósito de los métodos predictivos es explicar o predecir uno o más fenómenos observables y medidos de manera efectiva. Concretamente, estarán interesados en una o más variables definidas como objetivos del análisis. Por ejemplo, evaluar la probabilidad de que una persona compre un producto sobre otro, la probabilidad de responder a una operación de marketing directo , la probabilidad de contraer una enfermedad en particular, curarla, las posibilidades de que una persona que ha visitado una página de un sitio web regrese. para él, son típicamente objetivos que pueden lograrse mediante métodos predictivos.

En la minería de datos predictiva existen dos tipos de operaciones: discriminación o ranking, y regresión o predicción, todo depende del tipo de variable a explicar. La discriminación se ocupa de las variables cualitativas, mientras que la regresión se ocupa de las variables continuas.

Los métodos de clasificación y predicción permiten separar a los individuos en varias clases. Si la clase se conoce de antemano y la operación de clasificación consiste en analizar las características de los individuos para ubicarlos en una clase, se dice que el método es supervisado. De lo contrario, hablamos de métodos "no supervisados", este vocabulario se deriva del aprendizaje automático . La diferencia entre los métodos de clasificación descriptiva que hemos visto anteriormente y los métodos de clasificación predictiva se debe a que su objetivo es divergente: el primero "reducir, resumir, sintetizar los datos" para dar una visión más clara de los datos. clusters, mientras que el segundo explica una o más variables objetivo para predecir los valores de estos objetivos para los recién llegados.

Ejemplos de

Podemos hacer referencia a algunos ejemplos de métodos predictivos y presentarlos según el campo del que proceden.

Entre los métodos derivados de la inteligencia artificial, el analista puede utilizar árboles de decisión , a veces para predicción, a veces para discretizar datos cuantitativos, razonamiento basado en casos , redes neuronales , neuronas de base radial para clasificación y aproximación de funciones, o quizás algoritmos genéticos , algunos en apoyo de las redes bayesianas, otros como Timeweaver en busca de eventos raros.

Si el analista está más inclinado a utilizar métodos derivados de la estadística y la probabilidad, recurrirá a técnicas de regresión lineal o no lineal en el sentido amplio para encontrar una función de aproximación, análisis discriminante de Fisher , regresión logística y regresión logística PLS para predecir una variable categórica. , o el modelo lineal generalizado (GLM), modelo aditivo generalizado (GAM) o modelo log-lineal , y modelos de regresión múltiple postulados y no postulados para predecir una variable multidimensional.

En cuanto a la inferencia bayesiana y más particularmente a las redes bayesianas , pueden ser útiles para el analista si busca las causas de un fenómeno o busca la probabilidad de que ocurra un evento.

Si desea completar los datos faltantes, el método de k vecinos más cercanos (K-nn) permanece a su disposición.

Curva de elevación que evalúa el rendimiento de un modelo de bosque aleatorio en datos de cifosis.
Curvas ROC que comparan el rendimiento de clasificación de cinco modelos de aprendizaje automático en datos de cáncer de mama .

La lista de algoritmos evoluciona todos los días, porque no todos tienen el mismo propósito, no se aplican a los mismos datos de entrada y ninguno es óptimo en todos los casos. Además, en la práctica resultan complementarios entre sí y combinándolos inteligentemente mediante la construcción de modelos modelo o metamodelos , es posible obtener ganancias de rendimiento y calidad muy significativas. El ICDM-IEEE realizó en 2006 un ranking de los 10 algoritmos con mayor influencia en el mundo de la minería de datos: este ranking es una ayuda eficaz en la elección y comprensión de estos algoritmos.

La Universidad de Stanford tiene competencia en su temporada de otoño en 2007, ambos equipos en el siguiente proyecto: basándose en las películas base vistas por cada cliente de una red de distribución cuyas suscripciones se pagan con tarjeta magnética, determinar la audiencia más probable para una película que todavía ser visto. Un equipo se centró en la búsqueda de algoritmos extremadamente finos a partir de la información en la base de datos, otro, por el contrario, tomó algoritmos extremadamente simples, pero combinó la base de datos proporcionada por el distribuidor con el contenido de Internet Movie Database (IMDB) para enriquecer su información. El segundo equipo obtuvo resultados mucho más precisos. Un artículo sugiere que la eficiencia de Google se debe menos a su algoritmo de PageRank que a la gran cantidad de información que Google puede correlacionar haciendo referencias cruzadas en los historiales de consultas y analizando el comportamiento de navegación de sus usuarios en los sitios web.

Con los medios informáticos modernos se puede considerar una u otra de estas dos soluciones en cada proyecto, pero han aparecido otras técnicas que han demostrado su eficacia para mejorar la calidad de los modelos y su rendimiento.

Calidad y desempeño

Un modelo de calidad es un modelo rápido, cuya tasa de error debería ser lo más baja posible. No debe ser sensible a las fluctuaciones de la muestra con respecto a los métodos supervisados, debe ser robusto y soportar cambios lentos en los datos. Además, ser simple, comprensible y producir resultados fácilmente interpretables aumenta su valor. Finalmente, se puede configurar para que sea reutilizable.

Se utilizan varios indicadores para evaluar la calidad de un modelo, y entre estos, la ROC y las curvas de elevación , el índice de Gini y el error cuadrático medio muestran dónde se encuentra la predicción en relación con la realidad y, por lo tanto, dan una buena idea del valor. de este componente de la calidad del modelo.

Robustez y precisión son otras dos facetas de la calidad del modelo. Para obtener un modelo eficiente, la técnica consiste en limitar la heterogeneidad de los datos, optimizar el muestreo o combinar los modelos.

La presegmentación propone clasificar la población, luego construir un modelo en cada una de las clases en las que los datos son más homogéneos y finalmente agregar los resultados.

Con la agregación de modelos, el analista aplica el mismo modelo a muestras ligeramente diferentes de la muestra original y luego asocia los resultados. El ensacado y el impulso fueron los más efectivos y populares en 1999. En marketing, por ejemplo, el algoritmo Uplift utiliza la técnica de ensacado para producir un modelo de identificación de grupos de personas que puede responder a una oferta comercial después de una solicitud.

Finalmente, la combinación de modelos lleva al analista a aplicar varios modelos a la misma población y combinar los resultados. Técnicas como el análisis discriminante y las redes neuronales, por ejemplo, se combinan fácilmente.

Herramientas informáticas

Software

La minería de datos no existiría sin herramientas. La oferta informática está presente en forma de software y también en algunas plataformas especializadas. Existe una gran cantidad de software en el ámbito del software comercial , pero también lo hay en el del software libre . No hay software mejor que otros, todo depende de lo que quieras hacer con él. El software comercial está más destinado a empresas u organizaciones con grandes volúmenes de datos para explorar, mientras que el software libre está destinado más especialmente a estudiantes, aquellos que desean experimentar con nuevas técnicas y pymes. En 2009 , las herramientas más utilizadas fueron, en orden, SPSS , RapidMiner  (en) , SAS , Excel , R , KXEN  (en) , Weka , Matlab , KNIME , Microsoft SQL Server , Oracle DM  (en) , STATISTICA y CORICO ( Iconografía de correlaciones ). En 2010 , R fue la herramienta más utilizada entre los usuarios que respondieron a la encuesta de Rexer Analytics y STATISTICA pareció ser la herramienta preferida de la mayoría de los buscadores de datos (18%). STATISTICA , IBM SPSS Modeler y R recibieron las calificaciones de satisfacción más altas tanto en 2010 como en 2009 en esta encuesta de Rexer Analytics .

Computación en la nube

L' informatique en nuage ( cloud computing ) n'est pas un outil d'exploration de données, mais un ensemble de services web, délivrés par des fournisseurs via l'internet, permettant d'accueillir et/ou d'utiliser des données et Software. Sin embargo, existen servicios que se pueden utilizar en el campo de la minería de datos. La minería de datos de Oracle se expone en IaaS de Amazon al ofrecer a los clientes una imagen de máquina de Amazon que contiene una base de datos de Oracle que incluye una HMI para la minería de datos; una imagen para R y Python también está disponible en Amazon Web Services . Actores presentes exclusivamente en la nube y especializados en el campo de la minería de datos ofrecen sus servicios como Braincube , In2Cloud , Predixion y Cloud9Analytics entre otros.

Límites y problemas

La minería de datos es una técnica que tiene sus limitaciones y plantea algunos problemas.

Limites

El software no es autosuficiente. Las herramientas de minería de datos no ofrecen una interpretación de los resultados, un analista especializado en minería de datos y una persona que conozca la profesión de la que se extraen los datos son necesarios para analizar los entregables del software.

Además, el software de minería de datos siempre da un resultado, pero nada indica que sea relevante ni da una indicación de su calidad. Pero, cada vez más, las técnicas de asistencia a la evaluación se están implementando en software libre o comercial.

Las relaciones entre las variables no están claramente definidas. Las herramientas de exploración de datos indican que tales y cuales variables influyen en la variable a explicar, pero no dicen nada sobre el tipo de relación, en particular no se dice si las relaciones son de causa y efecto .

Además, puede resultar muy difícil reproducir claramente, ya sea mediante gráficos, curvas o histogramas, los resultados del análisis. El no técnico a veces tendrá dificultades para comprender las respuestas que se le dan.

Problemas

Para un francófono, neófito además, el vocabulario es una dificultad o incluso un problema. Para darse cuenta de esto, es interesante especificar el vocabulario encontrado en la literatura francesa y anglosajona. Tomando como referencia el vocabulario anglosajón, la agrupación se entiende en la minería de datos como una segmentación, en la estadística y en el análisis de datos como una clasificación. La clasificación en inglés corresponde a la clasificación en minería de datos, análisis discriminante o clasificación en análisis de datos al estilo francés y un problema de decisión en estadística. Finalmente, los árboles de decisión son árboles de decisión en la minería de datos, y podemos escuchar acerca de la segmentación en este caso en el campo del análisis de datos. La terminología no está clara. [árbitro. necesario]

La calidad de los datos , es decir, la relevancia e integridad de los datos es una necesidad para la minería de datos, pero no suficiente. Los errores de entrada de datos, registros duplicados, datos no completados o no completados sin referencia al tiempo también afectan la calidad de los datos. Las empresas están implementando estructuras y procedimientos de aseguramiento de la calidad de los datos para poder responder de manera efectiva a las nuevas regulaciones externas y auditorías internas, y para aumentar la rentabilidad de sus datos que consideran parte de su patrimonio.

La interoperabilidad de un sistema es su capacidad para trabajar con otros sistemas creados por diferentes proveedores. Los sistemas de minería de datos deben poder trabajar con datos de múltiples sistemas de administración de bases de datos , tipos de archivos , tipos de datos y diferentes sensores. Además, la interoperabilidad necesita calidad de datos. A pesar de los esfuerzos de la industria en interoperabilidad, parece que en algunas áreas esta no es la regla.

Los datos se recopilan para responder a una pregunta formulada por la profesión. Un riesgo de la minería de datos es el uso de estos datos para un propósito diferente al asignado inicialmente. El secuestro de datos equivale a citar fuera de contexto. Además, puede dar lugar a problemas éticos.

La privacidad de las personas puede verse amenazada por los proyectos de minería de datos, si no se toman las precauciones, en particular en la búsqueda en la web y el uso de los datos personales recopilados en Internet o se pueden exponer los hábitos de compra, las preferencias e incluso la salud de las personas. Otro ejemplo es el de la Information Awareness Office y, en particular, el programa Total Information Awareness (TIA), que explotó al máximo la tecnología de minería de datos y que era uno de los proyectos " posteriores al 11 de septiembre "   que el Congreso de los Estados Unidos había comenzado a financiar. , pero luego lo abandonó debido a las amenazas particularmente graves que este programa planteaba a la privacidad de los ciudadanos estadounidenses. Pero incluso sin ser divulgados, los datos personales recopilados por las empresas, a través de herramientas de gestión de relaciones con el cliente (CRM), cajas registradoras , cajeros automáticos , tarjetas sanitariasetc. , puede llevar, con técnicas de minería de datos, a clasificar a las personas en una jerarquía de grupos, de buenos a malos, prospectos , clientes, pacientes, o cualquier rol que se juegue en un momento dado de la vida social , de acuerdo con criterios desconocidos para las personas. ellos mismos. Con esto en mente, y para corregir este aspecto negativo, Rakesh Agrawal y Ramakrishnan Sikrant cuestionan la viabilidad de la minería de datos que preservaría la privacidad de las personas. Otro problema es el almacenamiento de los datos necesarios para la excavación, ya que los datos digitales pueden ser pirateados . Y en este caso, la explosión de datos en bases de datos distribuidas y criptografía son parte de las respuestas técnicas que existen y que pueden poner en marcha las empresas.

Búsquedas especializadas

Ciertas empresas o grupos se han especializado, como por ejemplo Acxiom , Experian Information Solutions , D & B y Harte-Hanks para datos de consumo o Nielsen NV para datos de audiencia.

Además de la minería de datos (descrita anteriormente), se pueden denominar especializaciones técnicas clásicas de minería de datos, como imágenes de búsqueda ( minería de imágenes ), minería web ( minería de datos web ) , minería de flujo de datos ( minería de flujo de datos ) y minería de texto ( minería de texto ) se están desarrollando en la década de 2010 y centraron la atención de muchos investigadores y la industria, incluidos los riesgos de transmitir datos personales que hacen que las personas manejen.

Estas empresas utilizan software para clasificar a las personas según su origen social y sus caracterizaciones de consumidores (p. Ej., Claritas Prizm (creado por Claritas Inc. y adquirido por Nielsen Company .

Por tipos de datos

La minería de audio , una técnica más nueva, a veces relacionada con la minería de datos, puede detectar sonidos en un flujo de audio. Se utiliza principalmente en el campo del reconocimiento de voz y / o se basa en él.

La imagen de búsqueda es la técnica que se interesa por el contenido de la imagen. Elle extrait des caractéristiques dans un ensemble d'images, par exemple du web, pour les classer, les regrouper par type ou bien pour reconnaître des formes dans une image dans le but de chercher des copies de cette image ou de détecter un objet particulier, por ejemplo.

La minería de textos es la exploración de los textos con el fin de extraer un conocimiento de alta calidad. Esta técnica a menudo se conoce como anglicismo de minería de texto . Es un conjunto de procesamiento informático que consiste en extraer conocimientos según un criterio de novedad o similitud, en textos producidos por humanos para humanos. En la práctica, esto equivale a poner en algoritmos un modelo simplificado de teorías lingüísticas en sistemas informáticos para el aprendizaje y la estadística. Las disciplinas involucradas son, por lo tanto , lingüística computacional , ingeniería del lenguaje , aprendizaje automático , estadística e informática .

Por entornos técnicos

Se trata de explotar, con la excavación de la web , la enorme fuente de datos que constituye la web y encontrar modelos y patrones en el uso, contenido y estructura de la web. La excavación del uso de la web ( minería de uso de la web o minería de registros web ) es el proceso de extracción de información útil almacenada en los registros del servidor. Esta minería explota la minería de texto para analizar los documentos de texto. Explorar la estructura de la web es el proceso de analizar relaciones, a priori desconocidas, entre documentos o páginas almacenadas en la web.

La minería de flujo de datos ( data stream mining ) es la técnica de explorar los datos que llegan en un flujo constante, ilimitado, con gran rapidez, y algunos fundamentos cambian con el tiempo: por ejemplo, análisis de flujos de datos emitidos por sensores automotrices. Pero se pueden encontrar ejemplos de aplicaciones en los campos de las telecomunicaciones, la gestión de redes, la gestión del mercado financiero, la vigilancia y en los campos de las actividades de la vida diaria, más cerca de las personas, como el análisis de flujos de cajeros automáticos , transacciones con tarjetas de crédito,  etc.

Por campos de actividad

Representación gráfica de las orillas del río Neuse en los Estados Unidos donde se han observado concentraciones anormales de zinc .

La minería de datos espaciales ( Spatial data mining ) es la exploración técnica de datos geográficos a nuestra escala en la Tierra, pero también astronómicos o microscópicos , cuya finalidad es encontrar patrones interesantes en los datos que contienen tanto datos temporales de texto como datos geométricos, como vectores. , marcos o gráficos. Los datos espaciales proporcionan información a diferentes escalas, proporcionada por diferentes técnicas, en diferentes formatos, durante un período de tiempo a menudo largo para la observación de cambios. Por tanto, los volúmenes son muy grandes, los datos pueden ser imperfectos y ruidosos. Además, las relaciones entre los datos espaciales suelen ser implícitas: en esta especialización se encuentran con frecuencia relaciones de conjunto , topológicas , direccionales y métricas . Por lo tanto, la minería de datos espaciales es particularmente difícil.

La minería de datos espaciales se utiliza para explorar datos de ciencias de la tierra , datos de mapas de delitos, datos de censos , tráfico por carretera , brotes de cánceretc.

En el futuro

El futuro de la minería de datos depende del futuro de los datos digitales. Con la llegada de la Web 2.0 , blogs , wikis y servicios en la nube, hay una explosión en el volumen de datos digitales y, por lo tanto, los depósitos de materia prima para la minería de datos son significativos.

Muchos campos todavía hacen poco uso de la minería de datos para sus propias necesidades. El análisis de datos de la blogósfera aún se encuentra en sus primeras etapas. Comprender la "ecología de la información" para analizar cómo funcionan los medios de Internet, por ejemplo, apenas está comenzando.

Siempre que se resuelvan los problemas relacionados con la privacidad de las personas, la minería de datos puede ayudar a abordar cuestiones en el campo médico y, en particular, en la prevención de riesgos hospitalarios.

Sin ir tan lejos como la ciencia ficción del Minority Report , las técnicas de elaboración de perfiles sin a priori son posibles gracias a la minería de datos, lo que puede plantear algunos nuevos problemas éticos. Un documental de BBC Horizon resume algunas de estas preguntas.

Finalmente, con la aparición de nuevos datos y nuevos campos, las técnicas continúan desarrollándose.

Notas y referencias

Notas

  1. Término recomendado en Canadá por la OQLF , y en Francia por la DGLFLF ( Diario Oficial del 27 de febrero de 2003) y por FranceTerme
  2. siguiendo el mismo ejemplo, permite responder a la pregunta: "¿Cuál podría ser la facturación en un mes" "
  3. . Estas distribuciones son fáciles de calcular, y entre ellas encontramos leyes ya ampliamente utilizadas (ley normal, distribución exponencial negativa, leyes de Zipf y Mandelbrot ...), por métodos ajenos a los que las establecieron. La prueba de aptitud de una distribución al modelo de la "prueba Psi" de cálculo de la entropía residual, es asintóticamente equivalente a la Ley de ² .
  4. ver en este documento los esfuerzos de estandarización e interoperabilidad realizados por la industria (en) Arati kadav Aya Kawale y Pabitra Mitra, Data Mining Standards  " [PDF] en datamininggrid.org (consultado el 13 de mayo de 2011 )
  5. Por ejemplo, un programa de administración de correo electrónico podría intentar clasificar un correo electrónico como correo electrónico legítimo o como spam . Los algoritmos de uso común incluyen árboles de decisión , vecinos más cercanos , clasificación bayesiana ingenua , redes neuronales y separadores de margen ancho (SVM)
  6. Algunos de los cuales se pueden describir aquí: Guillaume Calas, Estudios de los principales algoritmos de minería de datos  " [PDF] , en guillaume.calas.free.fr ,(consultado el 14 de mayo de 2011 )
  7. Como CART , CHAID , ECHAID , QUEST , C5 , C4.5 y bosques de árboles de decisión
  8. Como perceptrones de una o varias capas con o sin retropropagación de errores
  9. Como regresión lineal , lineal múltiple , logística , PLS , ANOVA , MANOVA , ANCOVA o MANCOVA .
  10. Consulte el glosario de minería de datos para conocer la definición de "robustez" y "precisión".
  11. IaaS significa Infraestructura como un servicio llamado Amazon Elastic Compute Cloud en Amazon
  12. Dado que los modelos de minería de datos se refieren a datos agregados de los que se descartan datos personales.
  13. Según Tim Finin, Anupam Joshi, Pranam Kolari, Akshay Java, Anubhav Kale y Amit Karandikar,   The information ecology of social media and online Communities   , en aisl.umbc.edu (consultado el 19 de junio de 2011 ) .

Libros especializados

  1. Tufféry 2010 , p.  506
  2. Nisbet, Elder y Miner 2009 , p.  733
  3. Tufféry 2010 , p.  44
  4. Tuffery 2010 , p.  161
  5. Tuffery 2010 , p.  198
  6. Tufféry 2010 , p.  244
  7. Tufféry 2010 , p.  297
  8. Nisbet, Elder and Miner 2009 , p.  235
  9. Tufféry 2010 , p.  518
  10. Tuffery 2010 , p.  121
  11. Tufféry 2010 , p.  158
  12. Kargupta y col. 2009 , pág.  283
  13. Kargupta y col. 2009 , pág.  357
  14. Kargupta y col. 2009 , pág.  420
  15. Kargupta et al. 2009 , pág.  471
  16. Kargupta y col. 2009 , pág.  1-281

otras referencias

  1. Definición de minería de datos Minería de datos  "
  2. "Taller laboratorio ETAlab de 13 de octubre de 2011: Datajournalisme" ( 4 º Taller de laboratorio ETAlab, 70 participantes 13 octubre de 2011), con videos en línea, consultado el 8 de octubre de 2013.
  3. (en) Kurt Thearling, Una introducción a la minería de datos  " en thearling.com (consultado el 2 de mayo de 2011 ) .
  4. Jean-Claude Oriol, Una aproximación histórica a las estadísticas  " [PDF] , en statistix.fr (visitada 12 de mayo de, 2011 )
  5. (in) Myron Tribus, Descripciones, decisiones y diseños racionales ,, 478  p. ( leer en línea ).
  6. (en) Nikhil Pal y Lakhmi Jain , técnicos avanzados en descubrimiento de conocimiento y minería de datos , Springer,, 254  p. ( ISBN  978-1-85233-867-1 )
  7. (en) Carole Albouy, Once upon a time ... data mining  " en lafouillededonnees.blogspirit.com (consultado el 23 de octubre de 2011 )
  8. (in) Patricia Cerrito, Un área de aplicaciones de minería de datos en el Departamento de Matemáticas  " [PDF] en math.louisville.edu (consultado el 31 de mayo de 2011 )
  9. (en) Maryann Lawlor, Smart Companies Dig Data  " en afcea.org (consultado el 31 de mayo de 2011 )
  10. Christine Frodeau,   La minería de datos, el comportamiento del consumidor Predicción herramienta   [PDF] , en creg.ac-versailles.fr (visitada 12 de mayo de, 2011 )
  11. (en) Colleen McCue , Minería de datos y análisis predictivo: recopilación de inteligencia y análisis de delitos , Amsterdam / Boston, Elsevier,, 313  p. ( ISBN  978-0-7506-7796-7 )
  12. Frank Audet y Malcolm Moore, Mejora de la Calidad en un Call Center  " [PDF] , en jmp.com (visitada 12 de mayo de, 2011 )
  13. (en) Henry Abarbanel, Curtis Callan, William Dally, Freeman Dyson , Terence Hwa, Steven Koonin, Herbert Levine, Oscar Rothaus Roy Schwitters, Christopher Stubbs y Peter Weinberger, Minería de datos y el genoma humano  " [PDF] en fas. org (consultado el 12 de mayo de 2011 ) , p.  7
  14. (en) Industrias / Campos de análisis / Minería de datos en 2010  " en kdnuggets.com ,(consultado el 12 de mayo de 2011 )
  15. (en) Yi Peng , Gang Kou , Yong Shi y Zhengxin Chen , Un marco descriptivo para el campo de la minería de datos y el descubrimiento del conocimiento  " , Revista internacional de tecnología de la información y toma de decisiones , vol.  7, n o  4,, p.  639 al 682 (10.1142 / S0219622008003204)
  16. (in) SIGKDD  : Official Website  " en sigkdd.org (consultado el 13 de mayo de 2011 )
  17. (en) ACM SIGKDD: Conferences  " en kdd.org (consultado el 13 de mayo de 2011 )
  18. (en) ACM, Nueva York , SIGKDD Explorations  " en kdd.org (consultado el 13 de mayo de 2011 )
  19. (in) 5th (2009)  " , en dmin--2009.com (consultado el 13 de mayo de 2011 )
  20. (in) 4th (2008)  " , en dmin-2008.com (consultado el 13 de mayo de 2011 )
  21. (in) 3rd (2007)  " , en dmin-2007.com (consultado el 13 de mayo de 2011 )
  22. (in) 2 of (2006)  " , en dmin-2006.com (consultado el 13 de mayo de 2011 )
  23. (in) 1st (2005)  " , en informatik.uni-trier.de (consultado el 13 de mayo de 2011 )
  24. (in) ICDM  : Official Website  " en cs.uvm.edu (consultado el 13 de mayo de 2011 )
  25. (in) IEEE International Conference on Data Mining  " en informatik.uni-trier.de (consultado el 13 de mayo de 2011 )
  26. (en) ICDM09, Miami, FL  " en cs.umbc.edu (consultado el 13 de mayo de 2011 )
  27. (en) ICDM08, Pisa (Italia)  " en icdm08.isti.cnr.it (consultado el 13 de mayo de 2011 )
  28. (in) ICDM07, Omaha, NE  " en ist.unomaha.edu (consultado el 13 de mayo de 2011 )
  29. (en) ICDM06, Hong Kong  " en comp.hkbu.edu.hk (consultado el 13 de mayo de 2011 )
  30. (en) ICDM05, Houston, TX  " en cacs.ull.edu (consultado el 13 de mayo de 2011 )
  31. (en) ICDM04, Brighton (Reino Unido)  " en icdm04.cs.uni-dortmund.de (consultado el 13 de mayo de 2011 )
  32. (en) ICDM01, San José, CA.  » , En cs.uvm.edu (consultado el 13 de mayo de 2011 )
  33. (en) proceso cruzado estándar de la industria de la minería de datos  : Modelo de proceso  " , en crisp-dm.org ,(consultado el 14 de mayo de 2011 )
  34. (en) Usama Fayyad, Gregory Piatetsky-Shapiro y Padhraic Smyth, De la minería de datos al descubrimiento de conocimientos en bases de datos  " [PDF] en kdnuggets.com ,(consultado el 14 de mayo de 2011 )
  35. (in) STATISTICA, Glosario de estadísticas, modelos para minería de datos  " en statsoft.com (consultado el 13 de mayo de 2011 )
  36. (en) SAS SEMMA  " en sas.com (consultado el 13 de mayo de 2011 )
  37. (en) Ana Azevedo y Manuel Filipe Santos , KDD SEMMA y CRISP-DM: una visión paralela  " [PDF] , IADIS,( ISBN  978-972-8924-63-8 , consultado el 14 de mayo de 2011 ) ,p.  184
  38. isixsigma,   ¿Qué es Six Sigma  » , En isixsigma.com (consultado el 15 de mayo de 2011 )
  39. StatSoft, Six Sigma DMAIC  " , en statsoft.com (consultado el 15 de mayo de 2011 )
  40. (in) Six Sigma on line  " , Aveta Business Institute (consultado el 15 de mayo de 2011 )
  41. (in) ¿Qué son la validación cruzada y el bootstrapping  » , En faqs.org (consultado el 15 de mayo de 2011 )
  42. (en) Jing Gao Jiawei Han y Wei Fan, On the Power of Together: Supervised and Unsupervised Methods Reconciled  " en ews.uiuc.edu (consultado el 15 de mayo de 2011 )
  43. (en) Mary McGlohon, Data Mining Disasters: a postponement  " [PDF] en cs.cmu.edu (consultado el 14 de mayo de 2011 ) , p.  2
  44. (in) An Introduction to Ensemble Methods  " en DRC (consultado el 14 de mayo de 2011 )
  45. (en) Dorian Pyle , Preparación de datos para minería de datos , Morgan Kaufmann,, 560  p. ( ISBN  978-1-55860-529-9 , leer en línea )
  46. (en) Kurt Thearling, ' ' Introducción a la minería de datos » , En thearling.com (consultado el 14 de mayo de 2011 ) ,p.  17
  47. Stéphane Tufféry, Técnicas descriptivas  " [PDF] , en data.mining.free.fr ,(consultado el 14 de mayo de 2011 ) ,pág.  5
  48. Jacques Baillargeon, Análisis factorial exploratorio  " [PDF] , en uqtr.ca ,(consultado el 14 de mayo de 2011 ) ,pág.  4
  49. Philippe Besse y Alain Baccini,   Exploración de Estadística   [PDF] , en math.univ-toulouse.fr ,(consultado el 14 de mayo de 2011 ) ,pág.  7 y siguientes.
  50. Alexandre Aupetit, Redes neuronales artificiales: una pequeña introducción  " , en labo.algo.free.fr ,(consultado el 14 de mayo de 2011 )
  51. (en) Nikhil R. Pal, Pal Kuhu James M. Keller y James C. Bezdek, Agrupación difusa de C-medias de datos incompletos  " [PDF] en comp.ita.br ,(consultado el 14 de mayo de 2011 )
  52. (en) ICDM 10 mejores algoritmos de minería de datos  " [PDF] en cs.uvm.edu (visitada 14 de mayo de 2011 )
  53. (en) Wei-Yin Loh y Shih Yu-Shan, Métodos de selección dividida para árboles de clasificación  " [PDF] en math.ccu.edu.tw ,(consultado el 14 de mayo de 2011 )
  54. (en) Leo Breiman , Bosques aleatorios  " [PDF] en springerlink.com ,(consultado el 14 de mayo de 2011 )
  55. Ricco Rakotomalala,   Decision Trees   [PDF] , en www-rocq.inria.fr ,(consultado el 14 de mayo de 2011 )
  56. (en) Simon Haykin , Redes neuronales: una base integral , Prentice Hall ,, 842  p. ( ISBN  978-0-13-273350-2 )
  57. M. Boukadoum, Radial Base Neural Networks  " [ppt] , en labunix.uqam.ca (consultado el 14 de mayo de 2011 )
  58. Jean-Marc Trémeaux, Algoritmos genéticos para la identificación estructural de redes bayesianas  " [PDF] , en naku.dohcrew.com ,(consultado el 14 de mayo de 2011 )
  59. Thomas Vallée y Murat Yldzolu,   Presentación de algoritmos genéticos y sus aplicaciones en economía   [PDF] , en sc-eco.univ-nantes.fr ,(consultado el 14 de mayo de 2011 ) ,pág.  15
  60. Olivier Parent y Julien Eustache, Les Réseaux Bayésiens  " [PDF] , en liris.cnrs.fr ,(consultado el 14 de mayo de 2011 )
  61. Gilles Balmisse, The Bayesian Networks  " [PDF] , en gillesbalmisse.com ,(consultado el 14 de mayo de 2011 )
  62. Samos, Las redes bayesianas  " [PDF] , en samos.univ-paris1.fr ,(consultado el 14 de mayo de 2011 )
  63. Para salir de la incertidumbre, ingrese a la era de las redes bayesianas  " , Bayesia (consultado el 14 de mayo de 2011 )
  64. Valérie Monbet,   Missing data   , en perso.univ-rennes1.fr (consultado el 14 de mayo de 2011 ) , p.  27
  65. Didier Durand,   Google PageRank: ¡el algoritmo tiene en cuenta 200 parámetros!  » , En media-tech.blogspot.com ,(consultado el 14 de mayo de 2011 )
  66. Bertrand Liaudet,   Cours de Data Mining 3: Modelisation Presentation Générale   [PDF] , en bliaudet.free.fr (consultado el 14 de mayo de 2011 )
  67. (en) David Opitz y Richard Macklin, Métodos de conjuntos populares: un estudio empírico  " [PDF] en d.umn.edu ,(consultado el 14 de mayo de 2011 )
  68. (in) Software Suites for Data Mining, Analytics and Knowledge Discovery  " en KDnuggets (consultado el 15 de mayo de 2011 )
  69. Plataforma de minería de datos para editores de universos virtuales  " , en marketingvirtuel.fr (consultado el 15 de mayo de 2011 )
  70. (en) Dean W. Abbott, Philip I. Matkovsky y John Elder IV, 1998 IEEE International Conference on Systems, Man, and Cybernetics, San Diego, CA  " [PDF] en datamininglab.com ,(consultado el 15 de mayo de 2011 )
  71. (in) Encuesta de herramientas de minería de datos utilizada  " en kdnuggets.com ,(consultado el 15 de mayo de 2011 )
  72. (in) Rexer Analytics , 2010 Data Miner Survey  " en rexeranalytics.com (consultado el 19 de junio de 2011 )
  73. (in) Rexer Analytics  " , Rexer Analytics (consultado el 19 de junio de 2011 )
  74. Dave Wells,   ¿Qué pasa con Cloud Analytics  » , En b-eye-network.com (consultado el 2 de junio de 2011 )
  75. John Smiley y Bill Hodak, Oracle Database on Amazon EC2: An Oracle White Paper  " , en oracle.com (consultado el 4 de junio de 2011 )
  76. Drew Conway, Configuración de Amazon EC2 para computación científica en Python y R  " , en kdnuggets.com (consultado el 4 de junio de 2011 )
  77. ipleanware.com
  78. In2Clouds Solutions  " , In2Cloud (consultado el 5 de junio de 2011 )
  79. Predixion, Cloud Predixion Solutions  " , en predixionsoftware.com (consultado el 5 de junio de 2011 )
  80. Descripción general de la solución Cloud9  " , Cloud9 (consultado el 14 de junio de 2011 )
  81. (en) Jeffrey Seifer, Aplazamiento de CRS para el congreso  " [PDF] en biotech.law.lsu.edu ,(consultado el 15 de mayo de 2011 )
  82. Laetitia Hardy,   ¿Por qué la calidad de los datos se está volviendo esencial dentro de la empresa  » , En Decideo ,(consultado el 15 de mayo de 2011 )
  83. (en) Jeffrey Seifert, Aplazamiento de CRS para el congreso  " [PDF] en biotech.law.lsu.edu ,(consultado el 15 de mayo de 2011 ) ,pág.  27
  84. (en) Taller internacional sobre minería de datos práctica para preservar la privacidad  " en cs.umbc.edu ,(consultado el 15 de mayo de 2011 )
  85. (en) Martin Meint y Jan Möller, Privacy Preserving Data Mining  " [PDF] en fidis.net (consultado el 15 de mayo de 2011 )
  86. (en) Kirsten Wahlstrom, John F. Roddick, Rick Sarre Vladimir Estivill-Castro y Denise de Vries, Asuntos legales y técnicos de la preservación de la privacidad en la minería de datos  " en irma-international.org ,(consultado el 15 de mayo de 2011 )
  87. (en) Rakesh Agrawal y Ramakrishnan Sikrant , Privacy-Preserving Data Mining  " [PDF] en cs.utexas.edu (consultado el 15 de mayo de 2011 )
  88. (in) Murat Kantarcioglu, Introduction to Privacy Preserving Distributed Data Mining  " [PDF] en wiki.kdubiq.org (consultado el 15 de mayo de 2011 )
  89. Patrick Gros, Noticias de minería de imágenes AS y aparición de características semánticas  " [PDF] , en liris.cnrs.fr ,(consultado el 15 de mayo de 2011 )
  90. (en) Mohamed Medhat Gaber , Arkady Zaslavsky y Shonali Krishnaswamy, Flujos de datos: una revisión  " [PDF] en sigmod.org ,(consultado el 15 de mayo de 2011 )
  91. (en) Chih-Hsiang Li, Ding Ying Chiu Yi-Hung Wu y Arbee LP Chen , Extracción de conjuntos de elementos frecuentes de flujos de datos con una ventana deslizante sensible al tiempo  " [PDF] en siam.org ,(consultado el 15 de mayo de 2011 )
  92. (en) Hillol Kargupta, Ruchita Bhargava, Kun Liu, Michael Powers, Patrick Blair , Samuel Bushra James Dull, Kakali Sarkar, Martin Klein, Mitesh Vasa y David Handy, Vedas: A Mobile and Distributed Data Stream Mining System for Real - Time Vehicle Monitoring   [PDF] , en siam.org ,(consultado el 15 de mayo de 2011 )
  93. (in) Grupo de investigación de bases de datos espaciales y minería de datos espaciales  : sitio web oficial  " en Spatial.cs.umn.edu ,(consultado el 15 de mayo de 2011 )
  94. (en) Shashi Shekhar y Pusheng Zhang, Minería de datos espaciales: logros y necesidades de investigación  " [PDF] en espacial.cs.umn.edu ,(consultado el 15 de mayo de 2011 )
  95. IDC pronostica una explosión en el volumen de datos producidos en todo el mundo dentro de 10 años  " , en lemagit.fr (consultado el 21 de mayo de 2011 )
  96. (en) Joseph A Bernstein, Gran idea: ver el crimen antes de que suceda  " Acceso pagado en discovermagazine.com ,(consultado el 23 de septiembre de 2020 ) .
  97. (in) "El  FBI podría utilizar la elaboración de perfiles en las investigaciones terroristas  " en msnbc.com ,(consultado el 23 de septiembre de 2020 ) .
  98. La era del Big Data

Ver también

Artículos relacionados

Estadísticas

Inteligencia artificial

Ayuda con la decisión

Aplicaciones

Bibliografía

  • (en) Robert Nisbet , John Elder y Gary Miner , Manual de aplicaciones de análisis estadístico y minería de datos , Amsterdam / Boston, Academic Press,, 823  p. ( ISBN  978-0-12-374765-5 )Documento utilizado para redactar el artículo
  • (en) Hillol Kargupta , Jiawei Han , Philip Yu , Rajeev Motwani y Vipin Kumar , Next Generation of Data Mining , CRC Press,, 3 e  ed. , 605  p. ( ISBN  978-1-4200-8586-0 ) Documento utilizado para redactar el artículo
  • Stéphane Tufféry , Minería de datos y estadísticas de toma de decisiones: inteligencia de datos , París, ediciones Technip,, 705  p. ( ISBN  978-2-7108-0946-3 , leer en línea )Documento utilizado para redactar el artículo
  • (en) Phiroz Bhagat , Industria del reconocimiento de patrones , Amsterdam / Boston / Londres, Elsevier,, 200  p. ( ISBN  978-0-08-044538-0 )
  • (en) (en) Richard O. Duda, Peter E. Hart, David G. Stork, Clasificación de patrones , Wiley-Interscience,( ISBN  0-471-05669-3 ) [ detalle de ediciones ]
  • (es) Yike Guo y Robert Grossman , Minería de datos de alto rendimiento: algoritmos, aplicaciones y sistemas de escalado , Berlín, Springer,, 112  p. ( ISBN  978-0-7923-7745-0 , leer en línea )
  • (en) Ingo Mierswa, Michael Wurst, Ralf Klinkenberg, Martin Scholz y Tim Euler, YALE: Rapid Prototyping for Complex Data Mining Tasks  " , Actas de la 12a Conferencia Internacional ACM SIGKDD sobre Descubrimiento de Conocimiento y Minería de Datos (KDD-06) , ACM,, p.  935-940 ( ISBN  1595933395 , DOI  10.1145 / 1150402.1150531 , presentación en línea )
  • Daniel Larose ( trad.  Thierry Vallaud), De los datos al conocimiento: Introducción a la minería de datos (1Cédérom) , Vuibert,, 223  p. ( ISBN  978-2-7117-4855-6 )
  • René Lefébure y Gilles Venturi , Data Mining: Gestión de la relación con el cliente: personalizaciones de sitios web , Eyrolles,, 392  p. ( ISBN  978-2-212-09176-2 )
  • (en) Pascal Poncelet , Florent Masseglia y Maguelonne Teisseire , Patrones de minería de datos: nuevos métodos y aplicaciones , Referencia de grupo de ideas,, 307  p. ( ISBN  978-1-59904-162-9 )
  • (en) Pang-Ning Tan , Michael Steinbach y Vipin Kumar , Introducción a la minería de datos , Pearson Addison Wesley,, 769  p. ( ISBN  978-0-321-32136-7 y 0-321-32136-7 , OCLC  58729322 )
  • (en) Ian Witten y Eibe Frank , Minería de datos: herramientas y técnicas prácticas de aprendizaje automático , Morgan Kaufmann,, 371  p. ( ISBN  978-1-55860-552-7 , leer en línea )
  • (en) Stéphane Tufféry , Minería de datos y estadísticas para la toma de decisiones , John Wiley & Sons,, 716  p. ( ISBN  978-0-470-68829-8 )
  • (en) B. Efron , The Annals of Statistics: Bootstrap methods: Another look at the jackknife , Institute of Mathematical Statistics,( ISSN  0090-5364 )
  • (en) Leo Breiman , Machine Learning: Bagging predictors , Kluwer Academic Publishers Hingham,( ISSN  0885-6125 )
La versión del 13 de junio de 2011 de este artículo ha sido reconocida como un "  buen artículo  ", lo que significa que cumple con criterios de calidad en cuanto a estilo, claridad, relevancia, citación de fuentes y calidad. 'Dibujo.

Por el momento, hasta aquí el conjunto de la información que hemos conseguido recabar sobre Procesamiento de datos, esperamos que sea útil a tus propósitos. En caso de que así sea, por favor, no descartes aconsejarnos entre tus amistades y personas de la familia, y ten siempre presente que puedes acceder a la Gran Enciclopedia siempre que lo necesites. Si pese a poner todo nuestro empeño, te parece que lo que mostramos relativo a Procesamiento de datos tiene algún fallo o hay información nueva que debe ser añadida o corregir, nos resultaría una valiosísima aportación que que nos lo indiques. Brindar la más significativa información sobre Procesamiento de datos y en relación con cualquier otra temática es en lo que consiste el fundamento de este sitio web; nos incentiva el mismo aliento que a la sazón incentivó a quienes fueron los organizadores de la formulación de la Enciclopedia, y por eso es nuestro deseo que aquello que has encontrado en esta web en relación con Procesamiento de datos haya participado de algún modo para acrecentar tus conocimientos.

Opiniones de nuestros usuarios

Aitor Pozo Jimenez

En esta entrada sobre Procesamiento de datos he aprendido cosas que no sabía, así que ya puedo ir a acostarme.

Vicenta Del Rio Diaz

Siempre es bueno aprender. Gracias por el artículo sobre Procesamiento de datos.

Josep Sanchez Esteban

Muy interesante esta entrada sobre Procesamiento de datos.

Consuelo Estevez De La Torre

Gran descubrimiento este artículo sobre Procesamiento de datos y toda la página. Va directa a favoritos.