Experimento 4: Verificando los datos

Verficando los datos...

Experimento 3.1: Agrupar datos por hora y caracterizar los clusters

En el fichero 'GetHourlyClrIndex.m':

Paso 0: cargamos los datos iniciales

Paso 1: filtramos por fecha (entre el 1 de noviembre de 2010 y el 31 de octubre de 2011)

Paso 2: Calculamos el índice de claridad para cada registro

Paso 3: Agrupamos los registros por horas, tenemos un registro por cada minuto, agrupamos para obtener un registro por cada hora, el registro final tiene el minuto 30 de cada hora.

En el fichero 'CaracterizeClusters.m':

Paso 1: Filtramos por año, mes y día comparando con los datos del experimento anterior (datos_fdpa3).

Paso 2: Filtramos por año, mes, día y hora para quitar las horas nocturnas, comparando con los datos del experimento anterior (data_clr_ind_filtered).

Paso 3: Añadimos los índices de los clusters según las fechas (para 6 clústers)


Con los datos agrupados y filtrados, esta es la gráfica de las muestras para la radiación extraterrestre (rojo) y la radiación horizontal (azul):



Cluster para cada muestra horaria:



Indice de transparencia medio a lo largo de las horas del día para cada cluster:




Radiación Horizontal para cada cluster a lo largo de las horas del día (media):




INDICE DE TRANSPARENCIA (AZUL) Y DESVIACION ESTANDAR (ROJO) (SEGUN HORAS DEL DIA)

Cluster 1

Cluster 2

Cluster 3

Cluster 4

Cluster 5

Cluster 6

Experimento 3: K-Means, intervalos de 20 minutos, Test K-S

Recompilamos los datos haciendo intervalos de 20 minutos, y tenemos un total de 276 días válidos de datos.

Aplicamos K-means para hacer 6 grupos y vamos a aplicar el test de Kolmogorov-Smirnov para comprobar la bondad del ajuste de los clusters.

Aplicando K-means con K=6 obtenemos esto:



Y aplicando el test de Kolmogorov-Smirnov, con alpha = 0.05, el valor para comparar es 0.35 (0.192 en el primer intento):

Cluster	Muestras del clúster	Muestras que superan la distancia máxima del test	Porcentaje de muestras que superan la distancia máxima
1	53	0	0
2	48	4	8.3333
3	23	5	21.7391
4	51	0	0
5	70	0	0
6	31	1	3.2258

Cluster 1:

Cluster 2:

Cluster 3:

Cluster 4:

Cluster 5:

Cluster 6:

En el primer intento, con 0.192 teníamos:

Cluster	Muestras del clúster	Muestras que superan la distancia máxima del test	Porcentaje de muestras que superan la distancia máxima
1	70	2	2.8571
2	23	19	82.6087
3	53	13	24.5283
4	31	16	51.6129
5	51	17	33.3333
6	48	25	52.0833

Experimento 1.5 - SOM

Vamos a aplicar el algoritmo SOM sobre los mismos datos:

SOM 3 clusters (1x3):

Distancia 'boxdist':
Elementos en los clusters: 36 68 108

Distancia 'dist':
Elementos en los clusters: 49 82 81

SOM 4 clusters (2x2):

Distancia 'boxdist':
Elementos en los clusters: 35 77 51 49

Distancia 'dist':
Elementos en los clusters: 35 78 51 48

Experimento 1 - KMeans

Aplicamos Kmeans a los datos de la función FDPA, separando en 2, 3 y 4 clusters y aplicando las ditancias euclídea y cityblock:

De arriba a abajo, los clusters de K=2,3,4 y para cada valor de K, la distancia cityblock y la distancia euclídea:

K=2, distancia cityblock:
Distancias máximas en cada cluster:

0.7852
0.4331

K=2, distancia euclídea:
Distancias máximas en cada cluster:

0.4310
0.7058

K=3, distancia cityblock:
Distancias máximas en cada cluster:

0.5657
0.3715
0.7654

K=3, distancia euclídea:
Distancias máximas en cada cluster:

0.6591
0.4506
0.4983

K=4, distancia cityblock:
Distancias máximas en cada cluster:

0.3426
0.5769
0.6997
0.2676

K=4, distancia euclídea:
Distancias máximas en cada cluster:

0.3061
0.3274
0.5315
0.5739

Experimento 0

Sobre los datos preprocesados anteriormente, analizamos algunos aspectos básicos. Como hemos dicho anteriormente, los datos abarcan 365 días, desde noviembre de 2010 hasta octubre de 2011 (los datos se encuentran en el fichero datos_fdpa3.mat).

Valores medios (azul) y máximo del índice de claridad para los 365 días:

Valores de variabilidad en valor absoluto:

Valores válidos para cada día:

Preprocesamiento de datos

Los datos meteorológicos del fieldpoint se preprocesan de la siguiente forma (fichero CalcularGextSOM.m):

* Abrimos el fichero 'measurements.mat' para leer. Este fichero contiene datos desde julio de 2010 hasta diciembre de 2013.

* Filtramos las fechas y nos quedamos con el rango de datos que va desde el 1 de noviembre de 2010 hasta el 31 de octubre de 2011, un año completo. Tomamos este rango ya que no tiene periodos significativos de falta de datos en medio.

* Calculamos el índice de transparencia para cada registro. Usamos ecuaciones para calcular la radiación extraterrestre en la latitud correspondiente y luego dividimos la radiación global observada en superficie por la radiación extraterrestre calculada.

* Agrupamos los valores en intervalos de 5 minutos, y hacemos la media de las medidas.

* Filtramos los valores de indice de transparencia que no están entre 0 y 1.

* Agrupamos los valores, un vector de 100 elementos para cada día. Cada vector contiene 100 valores que representan el número de muestras que están en un determinado rango, es decir, se divide el rango del índice de transparencia en 100 partes.

* Eliminamos los días que no alcanzan una cantidad mínima de valores, según las horas de sol de cada día, teniendo en cuenta un mínimo de elevación del Sol de 5 grados, y exigiendo un 90% de los valores.

* Calculamos la función de densidad de probabilidad acumulada sobre los registros diarios que tenemos.