Data Analytics issueshttps://gitlab.ost.ch/db/datana/-/issues2024-02-29T19:23:16+01:00https://gitlab.ost.ch/db/datana/-/issues/5Star-Schema: Halbjahr oder Jahreszeit?2024-02-29T19:23:16+01:00Raphael Das GuptaStar-Schema: Halbjahr oder Jahreszeit?Aufgabe erwähnt Halbjahr (aber nicht Jahreszeit), MuLö hat Jahreszeit (aber nicht Halbjahr.)Aufgabe erwähnt Halbjahr (aber nicht Jahreszeit), MuLö hat Jahreszeit (aber nicht Halbjahr.)https://gitlab.ost.ch/db/datana/-/issues/4Databricks-Übung aktualisieren2023-03-07T17:20:54+01:00Raphael Das GuptaDatabricks-Übung aktualisieren- [x] Runtime: 11.3 LTS (Scala 2.12, Spark 3.3.0)
- [x] bei
```
spark.sql(
"""
SELECT CallType, count(*)
FROM fireServiceCalls
GROUP BY CallType
ORDER BY count(*) DESC
"""
).show()
```
stattde...- [x] Runtime: 11.3 LTS (Scala 2.12, Spark 3.3.0)
- [x] bei
```
spark.sql(
"""
SELECT CallType, count(*)
FROM fireServiceCalls
GROUP BY CallType
ORDER BY count(*) DESC
"""
).show()
```
stattdessen `[…].show(n_call_types, False)`
- [x] Spark-3-[Patterns](https://spark.apache.org/docs/latest/sql-ref-datetime-pattern.html):
```
date_pattern = 'M/d/y'
ts_pattern = 'M/d/y h:m:s a'
```
- [x] Anweisung
> Klicken Sie oben (unterhalb des Notebook-Titels, dort wo "Attached" steht) auf den Namen des Clusters
an aktuelles UI anspassen.
- [x] Berechnung der Anzahl Partitions:
```
%scala
import org.apache.spark.util.Utils
val fileSizeBytes = 1634673683 // from `%fs ls` above
val maxPartitionBytes = Utils.byteStringAsBytes(spark.conf.get("spark.sql.files.maxPartitionBytes"))
val numberOfPartitions = fileSizeBytes.toDouble / maxPartitionBytes
// Round up, because we can't have just part of a partition:
val effectiveNumberOfPartitions = numberOfPartitions.ceil.toInt
```Raphael Das GuptaRaphael Das Gupta2023-03-08https://gitlab.ost.ch/db/datana/-/issues/3Sequence-Erstellung verschieben2021-03-04T11:30:52+01:00Raphael Das GuptaSequence-Erstellung verschiebenIn der [MuLö von Wo. 2, Teil 1, Aufg. 1](https://gitlab.ost.ch/db/datana/-/blob/ad06427383acb90ee65da13c49f0f7327456ac67/Uebungen/02_DW_OLAP/Musterloesungen/01_01_StarSchema/star_schema.adoc) (eigentlich [in `DWScripts/2b_schema_DW.sql`]...In der [MuLö von Wo. 2, Teil 1, Aufg. 1](https://gitlab.ost.ch/db/datana/-/blob/ad06427383acb90ee65da13c49f0f7327456ac67/Uebungen/02_DW_OLAP/Musterloesungen/01_01_StarSchema/star_schema.adoc) (eigentlich [in `DWScripts/2b_schema_DW.sql`](https://gitlab.ost.ch/db/datana/-/blob/ad06427383acb90ee65da13c49f0f7327456ac67/Uebungen/DWScripts/2b_schema_DW.sql#L34)) wird eine Sequence erstellt. Das ist verwirrend, denn dort wird sie noch nicht gebraucht.
(Verwendet wird die dann [in der MuLö von Wo. 2, Teil 1, Aufg. 3](https://gitlab.ost.ch/db/datana/-/blob/ad06427383acb90ee65da13c49f0f7327456ac67/Uebungen/02_DW_OLAP/Musterloesungen/01_03_SCD/dw_scd_ml.sql#L71). sowie [in `DWScripts/3b_load_DW.sql`](https://gitlab.ost.ch/db/datana/-/blob/ad06427383acb90ee65da13c49f0f7327456ac67/Uebungen/DWScripts/3b_load_DW.sql#L83))https://gitlab.ost.ch/db/datana/-/issues/2Üb. 1: fact_sales fehlt PK2020-07-24T16:13:27+02:00Nick GöttiÜb. 1: fact_sales fehlt PK- Diagramm in MuLö
- SQL-Code in `2b_schema_DW.sql`- Diagramm in MuLö
- SQL-Code in `2b_schema_DW.sql`https://gitlab.ost.ch/db/datana/-/issues/1Fragen stets so formulieren, dass der geforderte Operator auch sinnvoll ist.2020-02-27T11:59:01+01:00Nick GöttiFragen stets so formulieren, dass der geforderte Operator auch sinnvoll ist.z.B. bei
> Was für eine Filmsparte (Action, Non-Action) kaufen sich ältere Menschen, und was für eine Sparte kaufen vorwiegend jüngere Menschen? Untersuchen Sie diese Fragestellung mit Hilfe einer Abfrage, welche die Verkäufe pro Sparte ...z.B. bei
> Was für eine Filmsparte (Action, Non-Action) kaufen sich ältere Menschen, und was für eine Sparte kaufen vorwiegend jüngere Menschen? Untersuchen Sie diese Fragestellung mit Hilfe einer Abfrage, welche die Verkäufe pro Sparte und Alter (QuarterCentury) auflistet.
ist die geforderte Verwendung von `CUBE` nur sinnvoll, wenn man auch mit der gesamtkäuferschaft vergleichen will, und nicht nur alt vs. jung