Material Big Data

Lanzados ppts informativos de tecnologías BigData: Hadoop, Hbase, Hive, Zookeeper...

Pentaho Analytics. Un gran salto

Ya se ha lanzado Pentaho 7 y con grandes sorpresas. Descubre con nosotros las mejoras de la mejor suite Open BI

La mejor oferta de Cusos Open Source

Después de la gran acogida de nuestros Cursos Open Source, eminentemente prácticos, lanzamos las convocatorias de 2017

30 ago. 2012

30 razones por las que PALO es una gran solucion BI Open Source

Gracias a los consultores belgas de Limpida and Partake Consulting, nos cuentan las ventajas de una de las soluciones BI que más nos gustan. PALO, en su versión Open Source de la empresa Jedox, con su potente solución CPM


1. La plataforma está basada en componentes Open Source
2. PALO es un software diseñado para registrar, analizar, planificar, consolidar y distribuir Key Performance Indicators
3. PALO tiene una estructura centralizada con una Base de Datos Multidimensional
4. La instalación y configuración puede ser realizada por las área de Informatica de la compañía.
5. Permite a los usuarios acceder a la Base de Datos a través de su hoja de cálculo favorita (Excel, Open Office) a través de Palo for Excel
6. Puede ser utilizada como una solución interna o en modelo SaaS
7. PALO es un servidor OLAP lo que hace que toda la información se almacene en cubos mucho más rápidos de consultar quen RelationalDB, con estructuras de dimensiones, jerarquías, métricas, etc...
8. PALO soporta hasta 256 dimensiones lo que permite realizar los análisis mucho mejor que en Excel.
9. Comparando el sistema MOLAP en momoria de PALO con los sistemas ROLAP, puede llegar a ser hasta 100 veces más rápido, de ahí su uso en reglas de negocio y forecasts
10. Se permite realizar 'write-back', es decir, introducir datos directamente en la Base de Datos y facilita la planificación bottom-up
11. El motor OLAP de PALO permite realizar calculos en tiempo real de diferentes fuentes
12. PALO permite modelización en tiempo real, permitiendo modificar jerarquías y cubos directamente desde excel.
13. Se pueden asignar diferentes privilegios: Splash (writing into consolidated cells), Delete, Write, Read, None. que pueden ser asignados a diferentes grupos
14. PALO tiene una Base de Datos centralizada, lo que garantiza la seguridad y coherencia de los datos, pudiendo acceder desde la familiar hoja excel.
15. PALO incluye tanto el motor MOLAP con el el add-in de excel
16. Todas las funcionalidades pueden ser gestionadas directamente desde Excel: crear estructuras, permisos, cargar datos, etc...
17. La estructura de PALO se basa en celdas (cruces de datos), no en registros. Por ello, encaja muy bien su acceso desde excel
18. PALO web es un componente de PALO suite para realizar todos los análisis via internet
19. Con PALO Spreadsheets tenemos un interfaz cómodo, sencillo y conocido por los usuarios, que incluye algunas funcionalidades y mejoras como los 'Dyna Ranges' 
20. Permite consultas adhoc y ser compartidas con los colaboradores
21. Dispone del módulo ETL Manager para la creación y carga de los datos
22. Con PALO ETL Manager se puede monitorizar el lanzamiento de procesos
23. Con PALO User Manager se puede controlar todos los usuarios y grupos creados
24. Con PALO File Manager se pueden controlar los accesos a cada fichero, además de PALO Pivot y PALO Spreadsheet
25. Se puede incluir en la suite información de ficheros de texto y PDFs
26. El manejo de cubos y dimensiones es directa, permitiendo crear las jerarquías de tiempo de uso más frecuente
27. Se pueden crear transformaciones customizadas, por ejemplo con Java
28. Ademas de acceder a los datos de PALO Server, los datos pueden ser extraidos de ficheros planos, xml files, web services y sistemas LDAP
29. El proceso de carga y los diferentes trabajos pueden ser planificados y establecer dependencias
30. Dispone de interfaz para conexión con Bases de Datos relacionales, así como SAP ERP y BW


Visto en Limpida and Partake Consulting

24 ago. 2012

Business Intelligence: definição e exemplos Open Source

Definição de Business Intelligence com tecnologias Open Source. Nestes Slides mostramos como fazer um projeto BI com a ferramenta Open Source líder no mercado: Pentaho. Também se mostram exemplos e o futuro no BI



22 ago. 2012

Vuelve la Liga de futbol, con todas sus estadisticas

Ya ha comenzado la Liga BBVA y ya tienes disponible la mejor base estadistica Business Intelligence para consultar todos los datos de esta temporada y las 5 anteriores.

Tablero Futbolero
















También disponibles:

- Liga Brasileña

20 ago. 2012

ETL Validations in Pentaho

We present a framework for validation. In our case very focused to validate that ETL load has worked well.

The purpose and use (desired) for this STValidations (free download for previous link), is to automate the validation routine and sometimes we fail to do just that. For routine.

Its use is quite simple and are in a version 0.1, so it can evolve much and that we have few use cases how to make sure their robustness and to cover all needs. Hope this code from Stratebi helps you.

ETL is a process that reads from a table a list of queries to be executed and the expected result. After that, run the query and compares it with the expected result if the result is correct is a log of executions correct and if the result is not expected is a log of botched executions. At the end sends an email with the two records to the user to decide so you can review the implementation.

Here you can see the aspect of work in general:


And the detail of the validation:


Simple ... powerful and versatile. From simple queries like "select count (*) from table" to validate that you have records to complex queries for comparison of values ​​in different tables. In fact, if what I see is data in a table so I think that most of the validations can be performed using this method.

You can follow instructions in this video tutorial:

 

You can check more videos in our Youtube Channel
 

The process, in step settings, read the configuration data from configuration.properties, check that there is a validation table and if not creates and inserts a validation sample. Then, the process reads all existing queries in the table, runs and compare the result with the expected result.

The lookup table looks like and filled manually (we are at version 0.1, remember .....):


We did that because we had some problems of inconsistency in some projects that made clear that the loads must be validated and is a tedious and repetitive work.
  • We must always validate charges. We have detected errors due to inconsistent or unexpected data input formats. And that can not be controlled unless the charges are validated.
  • Loads must be validated especially after making a change in the ETL and it is pretty boring, perform the same query validation.
  • We must make a series of routine consultations to ensure that the data is equal to the source.
  • If you can automate ... I'd rather be doing other things.

Strengths and weaknesses:
  • It is a version 0.1 we have tested in a couple of clients and so far so good. But we know that, for example, still can not compare data from different sources faith.
  • Queries can become heavy and this is a potentially VERY expensive in terms of resource consumption. That's why ETL is a process that can be run independently attached to the ETL process or in another moment of time with little load. We do it well. The process does not run right after the ETL but at 6:00 a.m. how a separate process.
  • Do not rely on the BI server. Simple and useful.

Well, I think it can be very useful in projects and we hope you find it useful too!!

By the way ... this is the error log to send:


Que pasa cada minuto en Internet?

Buena infografía sobre Internet y las principales aplicaciones que hacen un uso intensivo del 'Big Data'. Interesante que Instagram acabe de superar a Flickr,

19 ago. 2012

Las Reuniones de Trabajo

De todos es sabido que gran parte del tiempo que pasamos en el trabajo transcurre en lo que habitualmente llamamos reuniones.
A la hora de computar este tiempo debemos sumar todo aquello referente a la convocatoria de la reunión, establecer la agenda, reserva de la sala, disponer de los medios necesarios, redacción de actas, aprobaciones, acciones a realizar, nuevas convocatorias, etc... de modo que la reunión se convierte en un proceso cíclico que se alimenta a si mismo en el que no es fácil saber cuando fue la primera reunión sobre un tema y mucho menos cuando será la última.



Debo advertir que mi opinión sobre las reuniones no es buena. Probablemente, con lo que leais a continuación confirmará mis palabras, pero prefiero ser sincero desde un primer momento. Y no es que piense que reunirse sea una mala práctica, que yo sea un ser antisocial o tenga problemas de comunicación. Nada de eso, por el contrario, la reunión en origen cumplía una función vital de compartir ideas entre todos los asistentes con la mente puesta en la consecución de un objetivo común, mediante la realización de una serie de tareas.
Sin embargo, la realidad nos demuestra que las reuniones se han convertido en una gran coartada, o mejor dicho, en la suma de varias coartadas. Como mi opinión es un tanto arriesgada intentaré explicarlo a continuación:


Coartada1: Estoy muy ocupado, llevo todo el día de reuniones.

Probablemente, ésta sea la coartada más habitual y la más extendida, pues es utilizada en todos los niveles de la escala profesional y más, cuanto más grande es la organización. Existen auténticos ‘profesionales’ de las reuniones. Son personajes que airean de forma notoria lo ocupados que están en reuniones, que no tienen tiempo para nada, que salen muy tarde de ellas, etc...

Algunos quizás puedan llegar al cinismo que hizo gala el matemático Karl F. Gauss (1777-1855), que se enfrascaba tanto en sus jornadas de trabajo que cuando le dijeron que su esposa estaba a punto de morir este respondió: “Sí, si, pero digale que se espere un momento hasta que acabe con esto”.




Pero, realmente, lo que están haciendo es ocultar la realidad. Son personas que realizan muy poco trabajo operativo y se escudan en las profusas e interminables reuniones para justificar su sueldo y su puesto.
Sin ir más lejos les comentaré el caso de Nestor Meetings. Es muy frecuente verle con aspecto atareado y agobiado, intentando manejar al mismo tiempo el teléfono y la agenda electrónica. Es de esas personas de las que conocemos su vida, y no es que sea Beckham o Mar Flores y lo cuenten en las revistas del corazón.

Es que te lo cuenta él, o mejor dicho, lo habla en voz alta. Bien por telefono teléfono, bien con la persona de la mesa de enfrente, aunque la mesa esté a diez metros, e incluso sólo, ya que es de los que habla en voz alta.
Todos en la oficina sabemos que esta divorciado de Mara, su anterior esposa. Se divorciaron hace tres años. En principio el divorcio fue amistoso, para no perjudicar a los niños, Lucía, de 9 años y Daniel, el pequeño, de 6. Sin embargo, parece que la nueva novia de Néstor, que es una chica venezolana, llamada Claudia, esta enfriando esta buena relación y el régimen de visitas ya no es tan amistoso como antes. Incluso, han tenido algún problema que ha supuesto una intervención judicial. Todos conocemos también a Julián, que es el mecánico de Néstor.

Lamentablemente, tiene que llevar el Audi con demasiada frecuencia al taller y todos creemos que deber ser por el camino de tierra que conduce a su casa de campo. No lo asfaltan por falta de acuerdo de los vecinos y no hace más que llenarse de barro y piedras que están estropeando la amortiguación. La culpa de que no asfalten el camino la tiene el ‘tonto de Luis’, que es como conocemos al vecino de Néstor. Un alto cargo del Santander, que no hace mas que hacerle la vida imposible, desde que Néstor se mudó alli y se construyó la casa.

La casa nos ha quedado bonita, aunque tuvimos ciertos problemas con el albañil, Manolo, que se empeñó en que no quería construir una piscina sobre ese terreno tan blando, cuando el resto de la gente la tiene, pero finalmente accedió y nos ha quedado perfecta. A Claudia le gusta.... pero... pero... pero... que me pasa... estoy empezando a adoptar la vida de Néstor.... No me extraña, de tanto escucharle empiezo a tener un problema de personalidad. Por favor, que le pongan un silenciador a este tío !!!!!!
 
Como se podrán imaginar seguir la agenda laboral de Néstor es bastante fácil, por lo cual se llega a la conclusión de que es una persona muy ocupada, ya que siempre esta reunido o a punto de ir a una reunión. Incluso, a veces, se da el caso de que acude a dos reuniones simultáneamente.
Este hecho, convenientemente realzado por el mismo, es bastante odiado por sus compañeros de reuniones que no dejan de verse interrumpidos por llamadas a su móvil, apariciones de personas en la puerta que reclaman su presencia o súbitas fugas de Néstor aduciendo lo apretada de su agenda y la necesidad imperiosa de acudir a su siguiente reunión.
Todas las interrupciones anteriores, ya molestas de por sí, se ven acrecentadas por la melodía elegida por el personaje para su móvil. Se trata de la versión adaptada del gran éxito ‘Soy Rumbera’ interpretada por Melody.
Ya se que hay gente que piensan que éstas cosas no pueden estar sucediendo en un país civilizado como es España. Pues si, suceden. Y si siguen sucediendo, quizás este país deje de ser civilizado, por que no me digan ustedes que son capaces de soportan semejante tono, en una sala de reuniones, sin escapatoria, ni posibilidad de huida. Néstor dice que tiene la melodía por que le gusta a su hija, pero no nos lo creemos. Le hemos oído canturrear en el baño lo último de Camela, y los grandes éxitos de Chenoa. Que no nos mienta, le gusta, pero que no nos torture, por favor.

Coartada 2: Hay que montar una reunión de alto nivel para solucionarlo.
(Continuará...)


Podéis ver más capitulos sobre trabajo en el libro gratuito descargable La Gacela de Wirayut

17 ago. 2012

Aprende Bases de Datos con comics Manga

Esto es lo que nos hemos encontrado por una libreria de São Paulo. La verdad es que es sorprendente… la historia es una mezcla de princesas, hadas, castillos y más cosas con SQL… no sé si el autor se le fue la cabeza, pero quizás si que es una forma diferente de aprender!!

Os imagináis a Mortadelo y Filemón explicando Desarrollo Web?