Apache Beam
Apache Beam
| Desarrollado por | Fundación de software Apache |
|---|---|
| Primera versión | 15 de junio de 2016 y 21 de diciembre de 2016 |
| Última versión | 2.14.0 (1 st de agosto de 2,019) |
| Depositar | github.com/apache/beam |
| Escrito en | Java , Python y Go |
| Sistema de explotación | Multiplataforma |
| Licencia | Licencia de Apache versión 2.0 |
| Sitio web | beam.apache.org |
Apache Beam es un modelo de programación unificado de código abierto para definir y ejecutar flujos de datos, incluido ETL , procesamiento por lotes y transmisión (transmisión).
Los flujos de Beam se definen mediante SDK y se ejecutan en uno de los ejecutores compatibles con Beam (back- end de procesamiento distribuido), incluidos Apache Flink , Apache Apex , Apache Samza , Apache Spark y Google Cloud Dataflow.
Se le ha llamado uber-API para big data .
Historia
Apache Beam es una implementación del modelo de Dataflow. El modelo de Dataflow se basa en trabajos anteriores sobre abstracciones de procesamiento distribuido en Google, en particular en FlumeJava y Millwheel.
Google lanzó una implementación de SDK abierta del modelo Dataflow en 2014 y un entorno para ejecutar Dataflows localmente (no distribuidos) así como en el servicio Google Cloud Platform .
En 2016, Google donó el SDK base, además de configurar un corredor local y un conjunto de E / S (conectores de datos) para acceder a los servicios de datos de Google Cloud Platform a Apache Software Foundation .
Otras empresas y miembros de la comunidad han ayudado a configurar plataformas de tiempo de ejecución distribuidas, así como nuevas E / S para integrarse con Beam Runners en bases de datos existentes, bases de datos de valor clave y mensajes del sistema. Además, se han propuesto nuevos DSL para soportar necesidades específicas en el modelo Beam.
La 10 de enero 2017 Apache Beam se convierte en un proyecto de primer nivel.
| Versión | Fecha de lanzamiento inicial | La última versión | Fecha de lanzamiento |
|---|---|---|---|
| 0.6.0 | 2017-03-11 | 0.6.0 | 2017-03-11 |
| 0.5.0 | 2017-02-02 | 0.5.0 | 2017-02-02 |
| 0.4.0 | 2016-12-29 | 0.4.0 | 2016-12-29 |
| 0.3.0 | 2016-10-31 | 0.3.0 | 2016-10-31 |
| 0.2.0 | 2016-08-08 | 0.2.0 | 2016-08-08 |
| 0.1.0 | 2016-06-15 | 0.1.0 | 2016-06-15 |
Ver también
Referencias
- (fr) Este artículo está tomado parcial o totalmente del artículo de Wikipedia en inglés titulado " Apache Beam " ( ver la lista de autores ) .
- " Https://projects.apache.org/json/projects/beam.json " (Consultado el 8 de abril de 2020 )
- " Versión 2.14.0 " ,1 st de agosto de 2,019(consultado el 2 de agosto de 2019 )
- Alex Woodie , " Objetivo ambicioso de Apache Beam: Unificar el desarrollo de Big Data " , en Datanami ,22 de abril de 2016(consultado el 4 de agosto de 2016 )
- " Nube de flujo de datos - por lotes y procesamiento de datos Corriente "
- Ian Pointer, " Apache Beam quiere ser una súper API para big data " , InfoWorld ,14 de abril de 2016
- Tyler Akidau , Eric Schmidt , Sam Whittle y Robert Bradshaw , " El modelo de flujo de datos ", Actas de la Fundación VLDB , vol. 8, n o 12,1 st de agosto de 2015, p. 1792–1803 ( DOI 10.14778 / 2824032.2824076 , leído en línea , consultado el 4 de agosto de 2016 )
- Craig Chambers , Ashish Raniwala , Frances Perry y Stephen Adams , " FlumeJava: Canalizaciones paralelas de datos fáciles y eficientes ", Actas de la 31.a Conferencia Sigplan de ACM sobre diseño e implementación de lenguajes de programación , ACM,1 st de enero de 2010, p. 363–375 ( DOI 10.1145 / 1806596.1806638 , leído en línea , consultado el 4 de agosto de 2016 )
- Tyler Akidau , Sam Whittle , Alex Balikov y Kaya Bekiroğlu , “ MillWheel ”, Actas de la Fundación VLDB , vol. 6, n o 11,27 de agosto de 2013, p. 1033-1044 ( DOI 10.14778 / 2536222.2536229 , leído en línea , consultado el 4 de agosto de 2016 )
- Ian Pointer , " Apache Beam quiere ser una súper API para big data " , InfoWorld (consultado el 4 de agosto de 2016 )
- https://beam.apache.org/blog/2017/01/10/beam-graduates.html