Die Erfindung betrifft ein Verfahren zum automatischen Einstellen mindestens eines Parameters eines Aktorregelungssystems, ein Computerprogramm und ein Lernsystem zum Ausführen des Verfahrens , ein maschinenlesbares Speichermedium auf dem das Computerprogramm gespeichert ist, ein Aktorregelungssys- tem, dessen Parameter mit diesem Verfahren eingestellt wurde und einen Datensatz, der diesen Parameter umfasst.

Stand der Technik

Aus der DE 10 2013 212 889 A1 ist ein Verfahren zum Erstellen einer Regelungsfunktion bekannt, um mindestens eine physikalische Zustandsgroße einer physikalischen Einheit mithilfe mindestens einer Stellgröße auf mindestens eine vorgegebene Sollgröße zu regeln, umfassend die folgenden Schritte:

- Bereitstellen eines Funktionsmodells zum Abbilden einer physikalischen Einheit;

- Bereitstellen einer Regelungsfunktion mit Regelungsparametern, wobei die Regelungsfunktion die Stellgröße abhängig von der physikalischen Zustandsgroße generiert; und

- Anpassen der Regelungsparameter basierend auf ermittelten Gesamtkosten, wobei die Gesamtkosten aus einer Kombination von Funktionswerten einer Kostenfunktion gebildet werden

Vorteil der Erfindung Das Verfahren mit den Merkmalen des unabhängigen Anspruchs 1 hat demgegenüber den Vorteil, dass eine optimale Einstellung des Aktorregelungssystems auf unterschiedliche Aktoren möglich ist. Vorteilhafte Weiterbildungen sind Gegenstand der unabhängigen Ansprüche. Offenbarung der Erfindung

In einem ersten Aspekt betrifft die Erfindung ein Verfahren zum automatischen Einstellen mindestens eines Parameters eines Aktorregelungssystem zum Re- geln einer Regelungsgröße eines Aktors auf eine vorgebbare Sollgröße, wobei das Aktorregelungssystem eingerichtet ist, abhängig von dem mindestens einen Parameter, der Sollgröße und der Regelungsgröße eine Stellgröße zu generieren und abhängig von dieser Stellgröße den Aktor anzusteuern, wobei ein neuer Wert des mindestens einen Parameters abhängig von einer Langzeit-

Kostenfunktion gewählt wird, wobei diese Langzeit-Kostenfunktion abhängig von einer prädizierten zeitlichen Evolution einer Wahrscheinlichkeitsverteilung der Regelungsgröße des Aktors ermittelt wird, damit der Parameter dann auf diesen neuen Wert gesetzt werden kann.

Die Langzeit-Kostenfunktion ist hierbei eine Kostenfunktion, die über einem Vorausschauintervall ermittelt wird, d.h. die prädizierte zeitliche Evolution der Wahrscheinlichkeitsverteilung wird über diesem Vorausschauintervall ermittelt und die Langzeit-Kostenfunktion wird wiederum abhängig hiervon ermittelt.

In einer vorteilhaften Weiterbildung ist ein Modell vorgesehen. Bei diesem Modell kann es sich insbesondere um einen Gauß-Prozess, vorteilhafterweise einen dünnbesetzten (engl, sparse) Gauß-Prozess handeln. Die prädizierte zeitliche Evolution wird dann mittels dieses Modells ermittelt. Dies macht das Verfahren besonders leistungsstark.

In einer Weiterbildung dieses Aspekts kann vorgesehen sein, dass das Modell abhängig von der Stellgröße die dem Aktor zugeführt wird, wenn das Aktorregelungssystem den Aktor regelt, angepasst wird. Das Modell wird auch abhängig von der hierbei resultierenden Regelungsgröße angepasst. Unter„Anpassung des Modells" kann hierbei verstanden werden, dass Modellparameter, die das Verhalten des Modells charakterisieren, angepasst werden.

Nach erfolgter Anpassung des Modells wird dann erneut ein (optimaler) neuer Wert des mindestens einen Parameters abhängig von der prädizierten Evolution der Wahrscheinlichkeitsverteilung der Regelungsgröße des Aktors ermittelt (und der Parameter dann erneut auf diesen neuen Wert gesetzt). Die erneute Ermittlung des neuen Werts des mindestens einen Parameters wird dabei abhängig von dem nun angepassten Modell ermittelt.

D.h. in dieser Weiterbildung ist ein episodenhafter Ansatz vorgesehen, in dem zunächst das Modell verbessert wird (indem bei Regelung des realen Aktors mit dem Aktorregelungssystem das Verhalten des realen Aktors beobachtet wird). Anschließend wird das Aktorregelungssystem verbessert, indem die Parameter, die eine Regelstrategie des Aktorregelungssystem unter Simulation der Reaktion Aktors durch das Modell optimiert werden. Diese Abfolge von Verbesserung des Modells und Anpassung der Parameter kann mehrfach wiederholt ausgeführt werden.

Dieses Vorgehen hat den Vorteil, dass Modell und Aktorregelungssystem sukzessive verbessert werden und somit eine besonders gute Anpassung des Aktorregelungssystems resultiert.

In einem weiteren besonders vorteilhaften Aspekt kann vorgesehen sein, dass die erwartete zeitliche Evolution der Wahrscheinlichkeitsverteilung der Regelungsgröße durch eine Approximation einer Integration über mögliche Werte der Regelungsgröße ermittelt wird, wobei diese Approximation durch numerische Quadratur geschieht. Mit„numerischer Quadratur" ist hierbei eine Approximationsmethode gemeint, die das Integral durch Auswertung des Integranden an Stützstellen und zu den Stützstellen zugehörigen Stützgewichten annähert.

Die erwartete zeitliche Evolution kann hierbei mittels eines (Gauß-)Prozess mit einer Ein- oder Mehrzahl von Zeitschritten ermittelt werden. Der Gauß-Prozess modelliert hierbei zu jedem festen Zustand eines Zeitschritts eine Wahrscheinlichkeitsverteilung mit zugeordnetem Mittelwert und zugeordneter Varianz des Folgezustands (also des Zustande zu einem nächsten Zeitschritt). Die Verwendung der numerischen Quadratur hat insbesondere in Verbindung mit der Verwendung von Gauß-Prozessen den Vorteil, dass die Lösung numerisch besonders einfach ist, wobei gleichzeitig die Genauigkeit der Näherung sehr gut ist, sodass das so erzeugte Aktorregelungssystem besonders leistungsfähig wird. In einer vorteilhaften Weiterbildung wird n eine Dichte der Stützstellen abhängig von einer ermittelten, insbesondere mittels des Modells und/oder des Aktorregelungssystems ermittelten, zeitlichen Evolution der Regelungsgröße ausgehend von einem aus einer initialen Wahrscheinlichkeitsverteilung (pseudo-)zufällig ermittelten initialen Wert der Regelungsgröße ermittelt wird D.h. der initiale Wert wird hierbei insbesondere aus der initialen Wahrscheinlichkeitsverteilung „gesampelt". Es wird also eine zeitliche Evolution (also eine Trajektorie im Zustands- raum) der Regelungsgröße ermittelt, an deren Anfangspunkt die Regelungsgröße den zufällig ermittelten initialen Wert annimmt. Die Dichte der Stützstellen wird dann abhängig von dieser zeitlichen Evolution gewählt. Dies führt zu einer effizienten Wahl der Stützstellen, da tatsächliche Trajektorien der Regelungsgröße mit adäquater Wahrscheinlichkeit in die Wahl der Stützstellen einfließen. Damit kann insbesondere sichergestellt werden, dass das Verfahren auch dann zuver- lässig funktioniert, wenn der Parameter des Aktorregelungssystems noch nicht gut angepasst ist.

In einer Weiterbildung kann vorgesehen sein, dass die Dichte von Stützstellen auch abhängig von einer ermittelten, insbesondere mittels des Modells und/oder des Aktorregelungssystems ermittelten, zeitlichen Evolution der Regelungsgröße) ausgehend vom Sollwert) als initialem Wert der Regelungsgröße ermittelt wird. Dies hat den Vorteil, dass die Stützstellen besonders effizient gewählt werden, da bei einer Konvergenz des Verfahrens davon auszugehen ist, dass eine tatsächliche Trajektorie der Regelungsgröße in der Nähe einer Trajektorie liegen, auf der die Regelungsgröße den Sollwert annimmt.

Konkret kann vorgesehen sein, dass die Dichte von Stützstellen abhängig von einer Größe gewählt wird, die eine Glattheit des Modells an wenigstens einem Wert der Regelungsgröße in der oder den ermittelten zeitlichen Evolutionen der Regelungsgröße charakterisiert. Unter dem Ausdruck „Glattheit des Modells" kann präziser formuliert die Glattheit der Modellvorhersage, d.h. die Glattheit einer für den nachfolgend nächsten Zeitschritt prädizierten Wahrscheinlichkeitsverteilung, verstanden werden. Eine geringe Glattheit des Modells bedeutet hierbei, dass bei den zeitlichen Evolutionen zwischen aufeinanderfolgenden Zeitschritten größere Differenzen zu erwarten sind als in Fällen, in denen die Glattheit des

Modells einen höheren Wert aufweist.

Diese die Glattheit Modells charakterisierende Größe kann insbesondere eine Varianz des Gauß-Prozesses sein, die wenigstens einem der Werte zugeordnet ist, den die Regelungsgröße in der oder den ermittelten zeitlichen Evolutionen annimmt. Je größer diese Varianz ist, desto geringer ist die Glattheit des Modells.

Auf diese Weise kann sichergestellt werden, dass die Wahl der Stützstellen so gewählt ist, dass ein Fehler der Approximation, insbesondere der numerischen Quadratur, besonders gering wird.

Um dies optimal durchzuführen, kann die Dichte von Stützstellen in einem Bereich abhängig von einem kleinsten Wert gewählt werden, wobei dieser kleinste Wert ein Minimalwert aus den eine Glattheit des Modells charakterisierenden Größen denjenigen Werten der Regelungsgröße ist, die in diesem Bereich liegen. D.h. es werden eine oder mehrere zeitliche Evolutionen der Regelungsgröße als diskrete Folge von Werten ermittelt, die die Regelungsgröße annimmt. Es werden dann nur diejenigen Werte der diskreten Folge von Werten betrachtet, die in dem vorgenannten Bereich liegen. Jedem dieser Werte ist eine Größe zugeordnet, die die Glattheit des Modells an dieser Stelle charakterisiert. Aus diesen zugeordneten Werten wird der kleinste Wert ausgewählt. Alternativ oder zusätzlich kann die Dichte von Stützstellen in einem Bereich auch abhängig von einer mittleren Dichte von Stützstellen in diesem Bereich gewählt wird. Insbesondere kann vorgesehen sein, dass die Dichte von Stützstellen erhöht wird, wenn ein Quotient aus mittlerer Dichte von Stützstellen und dem kleinsten Wert einen vorgebbaren Schwellwert, insbesondere den Wert 1 , unter- schreitet. Ein solches Verfahren ist besonders einfach zu implementieren.

Eine Erhöhung der mittleren Dichte von Stützstellen kann dadurch geschehen, dass ein Volumenelement, auf das eine Regel zur Generierung von Stützstellen angewendet wird, verkleinert wird, beispielsweise indem ein vorhandenes Volu- menelement in eine Mehrzahl kleinerer Volumenelemente aufgeteilt wird und dann für jedes dieser kleineren Volumenelement mittels der Regel zur Generierung von Stützstellen generiert werden.

In einem weiteren Aspekt kann vorgesehen sein, dass die Ermittlung eines Er- gebnisses der numerischen Quadratur abhängig von einer Ermittlung einer zeitlichen Evolution von Gewichten erfolgt, wobei die Gewichte jeweils durch das Produkt aus Stützgewichten und den jeweiligen Werten der Wahrscheinlichkeitsdichte an der zugehörigen Stützstelle gegeben ist. Dies hat den Vorteil, dass sich die zeitliche Evolution dieser Produkte von Zeitschritt zu Zeitschritt als Matrixmultiplikation besonders effizient durchführen lässt. Die Auswertung der Funktion, die die Wahrscheinlichkeitsdichte beschreibt, muss hierbei an jeder Stützstelle nur einmal erfolgen. Dieses Verfahren lässt sich besonders gut parallelisieren und damit besonders effizient auf einer oder mehreren GPU ausführen.

In einem weiteren Aspekt der Erfindung kann vorgesehen sein, dass die Langzeit-Kostenfunktion abhängig von einer lokalen Kostenfunktion gewählt wird, wo- bei die lokale Kostenfunktion abhängig von einer Gaußfunktion und/oder einer Polynomfunktion gewählt wird, welche abhängig von einer Differenz zwischen Stellgröße und vorgebbarem Sollwert ist. Die Kostenfunktion kann beispielsweise als eine Linearkombination aus Gaußfunktion und Polynomfunktion gewählt wer- den. Eine solche Wahl der Kostenfunktion ist besonders einfach.

Vorteilhafterweise kann in einem noch weiteren Aspekt vorgesehen sein, dass die Stellgröße mittels einer Beschränkungsfunktion auf Werte innerhalb eines vorgebbaren Stellgrößenbereichs beschränkt wird. Dies ermöglicht eine beson- ders einfache Limitierung der Stellgröße.

In weiteren Aspekten betrifft die Erfindung ein Lernsystem zum automatischen Einstellen mindestens eines Parameters eines Aktorregelungssystem welches zum Regeln einer Regelungsgröße eines Aktors auf eine vorgebbare Sollgröße eingerichtet ist, wobei das Lernsystem eingerichtet ist, eines der vorgenannten

Verfahren auszuführen.

Wie erwähnt können Aspekte des Verfahrens besonders effizient auf einer oder mehreren GPU ausgeführt werden. Das Lernsystem kann daher vorteilhafter- weise eine oder mehrere GPU zur Ausführung des Verfahrens umfassen.

Nachfolgend werden Ausführungsformen der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen näher erläutert. In den Zeichnungen zeigen: Figur 1 schematisch eine Interaktion zwischen Lernsystem und Aktor;

Figur 2 schematisch einen Aufbau von Teilen des Lernsystems;

Figur 3 schematisch eine Interaktion zwischen Aktorregelungssystem und

Aktor;

Figur 4 in einem Flussdiagramm eine Ausführungsform des Verfahrens zum

Trainieren des Aktorregelungssystems;

Figur 5 in einem Flussdiagramm eine Ausführungsform des Verfahrens zum

Ermitteln der zeitlichen Evolution der Wahrscheinlichkeitsdichte; Figur 6 in einem Flussdiagramm eine Ausführungsform des Verfahrens zum Ermitteln der Stützstellen.

Beschreibung der Ausführungsbeispiele

Figur 1 zeigt den Aktor 10 in seiner Umgebung 20 in Interaktion mit dem Lernsystem 40. Aktor 10 und Umgebung 20 werden gemeinschaftlich nachfolgend auch als Aktorsystem bezeichnet. Ein Zustand des Aktorsystems wird mit einem Sensor 30 erfasst, der auch durch eine Mehrzahl von Sensoren gegeben sein kann. Ein Ausgangssignal S des Sensors 30 wird an das Lernsystem 40 übermittelt.

Das Lernsystem 40 ermittelt hieraus ein Ansteuersignal A, welches der Aktor 10 empfängt.

Bei dem Aktor 10 kann es sich beispielsweise um einen (teil-)autonomen Robo- ter, beispielsweise ein (teil-)autonomes Kraftfahrzeug einen (teil-) autonomen

Rasenmäher handeln. Es kann sich auch um eine Aktuierung eines Stellglieds eines Kraftfahrzeugs handeln, beispielsweise um eine Drosselklappe oder um einen Bypass-Steller für eine Leerlaufregelung. Es kann sich auch um eine Heizungsanlage oder einen Teil der Heizungsanlage handeln, wie etwa einen Ventil- steller. Bei dem Aktor 10 kann es sich insbesondere auch um größere Systeme handeln, wie beispielsweise einen Verbrennungsmotor oder einen (ggf. hybridisierten) Antriebsstrang eines Kraftfahrzeugs oder auch um ein Bremssystem.

Bei dem Sensor 30 kann es sich beispielsweise um einen oder mehrere Vi- deosensoren und/oder einen oder mehrere Radarsensoren und/oder einen oder mehrere Ultraschallsensoren und/oder einen oder mehrere Positionssensoren (beispielsweise GPS) handeln. Auch andere Sensoren sind denkbar, beispielsweise ein Temperatursensor. In einem anderen Ausführungsbeispiel kann es sich bei dem Aktor 10 um einen

Fertigungsroboter handeln, und bei dem Sensor 30 dann beispielsweise um einen optischen Sensor handeln, der Eigenschaften von Fertigungserzeugnissen des Fertigungsroboters erfasst. Das Lernsystem 40 empfängt das Ausgangssignal S des Sensors in einer optionalen Empfangseinheit 50, die das Ausgangssignal S in eine Regelungsgröße x umwandelt (alternativ kann auch unmittelbar das Ausgangssignal S als Rege- lungsgröße x übernommen werden). Die Regelungsgröße x kann beispielsweise ein Ausschnitt oder eine Weiterverarbeitung des Ausgangssignals S sein. Die Regelungsgröße x wird einem Regler 60 zugeführt, in dem eine Regelungsstrategie π implementiert ist.

In einem Parameterspeicher 70 sind Parameter Θ hinterlegt, die dem Regler 60 zugeführt werden. Die Parameter Θ parametrieren die Regelungsstrategie π. Bei den Parametern Θ kann es sich um eine Einzahl oder Mehrzahl von Parametern handeln.

Ein Block 90 führt dem Regler 60 die vorgebbare Sollgröße xd zu. Es kann vorgesehen sein, dass der Block 90 die vorgebbare Sollgröße xd generiert, beispielsweise abhängig von einem Sensorsignal, dass dem Block 90 vorgegeben wird. Es ist auch möglich, dass Block 90 die Sollgröße xd aus einem dedizierten Speicherbereich ausliest, in dem sie abgelegt ist.

Abhängig von der Regelungsstrategie π(θ) (und damit abhängig von den Parametern Θ), von der Sollgröße xd und der Regelungsgröße x generiert der Regler 60 eine Stellgröße u. Diese kann beispielsweise abhängig von einer Differenz x- xd zwischen Regelungsgröße x und Sollgröße xd ermittelt werden.

Der Regler 60 übermittelt die Stellgröße u an eine Ausgabeeinheit 80, die hieraus das Ansteuersignal A ermittelt. Beispielsweise ist es möglich, dass die Ausgabeeinheit zunächst überprüft, ob die Stellgröße u in einem vorgebbaren Wertebe- reich liegt. Ist dies der Fall, wird abhängig von der Stellgröße u das Ansteuersignal A ermittelt, beispielsweise, indem abhängig von der Stellgröße u ein zugeordnetes Ansteuersignal A aus einem Kennfeld ausgelesen wird. Dies ist der Normalfall. Wird hingegen ermittelt, dass die Stellgröße u nicht in dem vorgebbaren Wertebereich liegt, so kann vorgesehen sein, dass das Ansteuersignal A derart ausgebildet ist, dass es den Aktor A in einen abgesicherten Modus überführt.

Empfangseinheit 50 übermittelt die Regelungsgröße x an einen Block 100. Ebenso übermittelt Regler 60 die korrespondierende Stellgröße u an den Block 100. Block 100 speichert die Zeitreihen der an einer Folge von Zeitpunkten empfangenen Regelungsgröße x und der jeweils korrespondierenden Stellgröße u. Block 100 kann dann abhängig von diesen Zeitreihen Modellparameter Λ, σ _η , a _f des Modells g anpassen. Die Modellparameter Λ, σ _η , a _f werden einem Block 1 10 zu- geführt, der sie beispielsweise an einer dedizierten Speicherstelle speichert. Dies wird weiter unten in Figur 4, Schritt 1030 näher beschrieben.

Das Lernsystem 40 umfasst in einer Ausführungsform einen Computer 41 mit ei- 5 nem maschinenlesbare Speichermedium 42, auf dem ein Computerprogramm gespeichert ist, dass, wenn es vom Computer 41 ausgeführt wird, diesen veranlasst, die beschriebenen Funktionalitäten des Lernsystems 40 auszuführen. Der Computer 41 umfasst im Ausführungsbeispiel eine GPU 43.

10 Das Modell g kann zum Optimieren der Parameter Θ der Regelungsstrategie π verwendet werden. Dies ist schematisch in Figur 2 illustriert.

In einem Block ist eine initiale Wahrscheinlichkeitsverteilung p(x ₀ ) des Regelungsparameters x gespeichert. Der Block 1 10 ermittelt hieraus einen ersten Gei s wichtsvektor α-ι und übermittelt diesen ersten Gewichtsvektor a-i an einen Block

160. Funktion und eine Ausführungsform der Ermittlung des ersten Gewichtsvektors α-ι sind unten in Figur 5, Schritt 1500 beschrieben.

Block 120 übermittelt die Modellparameter Λ, σ _η , a _f ebenfalls an den Block 160. 20 Block 160 ermittelt aus dem ersten Gewichtsvektor α-ι _und den Modellparametern

Λ, σ _η , O _f eine Folge von Gewichtsvektoren α ₂ , ... α _τ einem Block 150 übergeben werden.

Block 120 übermittelt die Modellparameter Λ, σ _η , a _f auch an einen Block 140. Ein 25 Block 130 ermittelt eine Rauschvarianz Σ ₆ , und eine maximale Partitionie- rungstiefe Lmax (beispielsweise indem diese Werte vorgegeben sind und aus dedizierten Speicherstellen im Speicher ausgelesen werden) und übermittelt sie dem Block 140. Parameterspeicher 70 übermittelt Parameter Θ an den Block 140, Block 90 übermittelt den Sollwert xd an den Block 140.

30

Block 140 ermittelt aus diesen Werten Stützstellen ξ, und zugehörige Stützgewichte W|. Eine Ausführungsform des Algorithmus dieser Ermittlung ist in Figur 6 illustriert. Die ermittelten Stützstellen ξ, und zugehörigen Stützgewichte w, werden dem Block 150 übergeben.

35

Block 150 ermittelt hieraus neue Parameter Θ ^* . Dies ist in Figur 4, Schritt 1050 beschrieben. Die neuen Parameter Θ ^* werden dem Parameterspeicher 70 über- geben, wo die Werte der Parameter Θ durch die jeweils entsprechenden Werte der neuen Parameter Θ ^* ersetzt werden.

Die in Figur 2 dargestellten Blöcke können Teil des Lernsystems 40 sein, und dort wie in Zusammenhang mit Figur 1 beschrieben als Teil eines Computerprogramms implementiert und auf dem maschinenlesbaren Speichermedium 42 gespeichert sein.

Figur 3 illustriert das Zusammenspiel des Aktorregelungssystems 45 mit dem Aktor 10. Der Aufbau des Aktorregelungssystems 45 und seine Interaktion mit Aktor 10 und Sensor 30 gleicht in weiten Teilen dem Aufbau des Lernsystems 40, weshalb hier nur die Unterschiede beschrieben werden. Im Gegensatz zum Lernsystem 40 weist das Aktorregelungssystem 45 keinen Block 100 und auch keinen Block 1 10 auf. Die Übermittelung von Größen an den Block 100 entfällt daher. Im Parameterspeicher 70 des Aktorregelungssystems 45 sind Parameter Θ hinterlegt, die mit dem erfindungsgemäßen Verfahren, beispielsweise wie in Figur 4 illustriert, ermittelt wurden.

Figur 4 illustriert eine Ausführungsform des erfindungsgemäßen Verfahrens. Zunächst (1000) werden die Parameter Θ auf initiale Werte gesetzt. Die Parameter Θ können hierbei zufällig initialisiert werden, sie können aber auch fest vorgegeben werden.

Dann (1010) generiert der Regler 60 wie in Figur 1 beschrieben abhängig von der Regelungsstrategie π(θ) Stellgrößen u, mit denen wie in Figur 1 beschrieben der Aktor 10 angesteuert wird. Der Aktor 10 interagiert über die Umwelt 20 mit dem Sensor 30, dessen Sensorsignal S als Regelungsgröße x mittelbar oder unmittelbar vom Regler 60 empfangen wird.

Block 100 empfängt und aggregiert (1020) die Zeitreihen von Stellgröße u und Regelungsgröße x die gemeinsam jeweils ein Paar z aus Regelungsgröße x und Stellgröße x ergeben, z = (x ¹ , ... , χ°, υ ... u ^F ) ^T .

D ist hierbei die Dimensionalität der Regelungsgröße x und F die Dimensionalität der Stellgröße u, d.h. x e ^D , u e ^F . Abhängig von dieser Zustandstrajektorie wird dann (1030) ein Gauß-Prozess g derart angepasst, dass zwischen aufeinanderfolgenden Zeitpunkten t, t+1 gilt x _t+1 = x _t +g(x _t ,ut). (1) Hierbei ist u _t = n _e (x _t ). (1') Eine Kovarianzfunktion k des Gauß-Prozesses g ist beispielsweise gegeben durch k{z, w) = of exp (~ {z - w) ⁷ ^ ¹ (Z - w) ) . (2) Parameter of ist hierbei eine Signalvarianz, Λ = diag(l ...l _+F ) ist eine Sammlung quadrierter Längenskalen l ...l _+F für jede der D+F Eingangsdimensionen.

Eine Kovarianzmatrix K ist definiert durch K(Z,Z)i = k{z zi) . (3)

Der Gauß-Prozess g ist dann charakterisiert durch zwei Funktionen: Durch einen Mittelwert μ und eine Varianz Var, die gegeben sind durch μ(ζ,) = k(z*,ZXK(Z,Z) + oliy ¹ y, (4)

Var z,) = k(z„z,) - k{z„Z){K{Z,Z) + σ^ΓΓ^Ζ,ζ*). (5) y ist hierbei in üblicher Weise gegeben durch y ^l = f(z ^l ) + e ^l , mit weißem Rau- sehen e ^l .

Die Parameter Λ,σ _η ,σ^ werden dann an die Paare (ζ',ν') in bekannter Weise angepasst, indem eine logarithmierte marginal likelihood-Fun ilon maximiert wird. Dann (1040) werden (wie in Figur 6 beschrieben) Stützstellen ξ _{ und zugehörige Stützgewichte w _t ermittelt. Ferner wird ein Vorausschauweite T aus einem Speicherbereich ausgelesen und es werden (wie in Figur 5 beschrieben) Gewichtsvektoren a _{ ermittelt.

Anschließend (1050) werden neue, optimale Parameter Θ* ermittelt. Hierzu wird eine vordefinierte, lokale Kostenfunktion r(x) herangezogen, die beispielsweise durch ein Kennfeld oder eine mathematische Funktion definiert sein kann.

Für jeden Wert einer Variable n = 1 ... N wird nun ein geschätzter Erwartungswert E der lokalen Kostenfunktion r ermittelt:

Εχ~φ _η [ χ)] = / r(x)<p _n (x)dx (6) Die Basisfunktionen φ _η (χ) sind hierbei gegeben durch d.h. durch eine Normalverteilung mit Mittelwert ξ _η + μ(ξ _η ) und Varianz Var^ _n ).

Hieraus wird schließlich eine Approximation R _n (ß) ermittelt. Hierzu werden die zu jedem Zeitschritt t ermittelten Gewichtsvektoren a _t = (a _{t l} , ... a _{t n} ) und die oben beschriebenen Erwartungswerte E herangezogen: (ß) = <*t,nE _x ~4> _n [rM] (8)

Diese Approximation R _n (ß) ist eine Näherung mittels numerischer Quadratur einer Kostenfunktion R, die gegeben ist durch

Eine Ermittlung der Erwartungswerte E erfordert eine Integration über die Wahrscheinlichkeitsverteilung p(x _t )) für jeden der Zeitpunkte t. Dies ist analytisch nicht in geschlossener Form lösbar, da die zeitliche Evolution der Wahrscheinlichkeitsverteilung p von einem Zeitschritt t zum nächsten t+1 gegeben ist durch p(x _t+1 ) = / p(x _t+1 |x _t )p(x _t )dx _t (10) Die Lösung dieser Gleichung muss daher durch numerische Näherungsverfahren geschehen. Viele Verfahren zum Ermitteln dieser zeitlichen Evolution der Wahrscheinlichkeitsverteilung p stehen vor der Herausforderung, eine hinreichende Genauigkeit zu erzielen, ohne sehr rechenintensiv zu werden. Das Verfahren mit numerischer Quadratur erreicht überraschenderweise diese Ziele.

Der neue Parameter Θ* ist wird nun (1060) ermittelt als

0 ^* = arg max ₀ Ä _re (0). (1 1 )

Dies kann beispielsweise mit einem Gradientenabstiegsverfahren geschehen, in dem die Gradienten numerisch ermittelt oder analytische vorgegeben werden. Auch explorative Verfahren sind möglich. Der Parameter Θ wird durch den neuen Parameter Θ* ersetzt.

Dann (1070) wird optional überprüft, ob das Verfahren der Ermittlung des Parameters Θ konvergiert ist. Ist dies nicht der Fall („n"), wird zurück zu Schritt 1010 verzweigt. Ist dies hingegen der Fall („j") sind optimale Parameter Θ gefunden, und das Verfahren wird beendet (1080). Selbstverständlich kann das Verfahren auch nach einer einzigen Iteration beendet werden.

Figur 5 illustriert das Verfahren zum Ermitteln der Gewichtsvektorena _t .

Zunächst (1500) wird der erste Gewichtsvektor a ₁ aus der vorgegebenen initialen Wahrscheinlichkeitsverteilung p(x ₀ ) ermittelt, gemäß

= ^w i ^■ P(*o = ξΰ (12)

Dann (1510) wird die Matrix

M = diag(w)<i> (13) ermittelt, mit diag(w)i = w^ (14) und Schließlich (1520) werden die Gewichtsvektoren a ₂ , ... a _T iterativ erzeugt mit t ₊₁ = Ma _t . (16) Damit endet dieses Verfahren. Figur 6 illustriert das Verfahren zum Ermitteln der Stützstellen ξ _{ und der zugehörigen Stützgewichte Wj .

Zunächst wird eine Aufteilung ein Zustandsraum X aller möglichen Werte der Regelungsgröße x initialisiert. Beispielsweise kann die Aufteilung initial als die triviale Aufteilung des Zustandsraums X gewählt werden, d.h. der Zustandsraum

X wird gar nicht unterteilt, sondern ist durch den gesamten Zustandsraum X gegeben.

Ein Zähler s wird auf den Wert s=1 initialisiert. Die Stützstellen ξ _{ werden gemäß einer numerischen Quadraturregel (wie beispielsweise der Kepler'schen Fassregel, der Trapez-Regel, der Simpson-Regel oder der Gauß-Quadratur) für den Zustandsraum X ermittelt, ebenso die zugehörigen Stützgewichte w,.

Dann (2010) wird überprüft, ob der Zähler s die maximale Partitionierungstiefe Lmax erreicht hat. Ist dies der Fall, wird das Verfahren in Schritt beendet (2100).

Andernfalls wird der Sollwert xd als Wert τ ₀ ' für die Regelungsgröße x angenommen und mit Formel (1 ), (1 ') eine zeitliche Evolution τ ₀ ' , τ[ ... τ _Τ ' ermittelt (2020). Optional wird dann ebenso ein weiterer Wert τ ₀ für die Regelungsgröße x gemäß der initialen Wahrscheinlichkeitsverteilung p(x ₀ ) zufällig ausgewählt, und mit Formel (1 ), (1 ') analog zu Schritt 2020 eine weitere zeitliche Evolution τ ₀ , τ ₁₍ ... τ _τ ermittelt (2030). Dann wird ein weiterer Zähler I auf den Wert 1=1 initialisiert (2040) und überprüft

(2050), ob der weitere Zähler I den Wert des Zählers s erreicht hat. Ist dies der Fall, folgt Schritt 2060, in dem der Zähler s um eins inkrementiert wird, und zurück zu Schritt 2010 verzweigt wird. Ist dies nicht der Fall, wird die Größe ρ _; (τ) ermittelt (2070), die charakterisiert, ob die Dichte der Stützstellen ^ angemessen ist. Beispielsweise kann sie ermittelt werden zu

Hierbei ist X _t das l-te Teilvolumenelement der Partitionierung des Zustandsraums X, Vol(X ) sein Volumen und N _l die Zahl der Stützstellen ξ _ι darin. Es wird dann überprüft (2070), ob diese Größe ρ _; (τ) < 1 ist, wobei auch andere Schwellwerte als der Wert„1 " möglich sind.

Ist dies der Fall („j"), wird ein Teilvolumenelement X _l in mehrere kleinere Teilvolumenelemente aufgespalten (2080), beispielsweise, indem das Teilvolumenelement X _l entlang einer oder entlang aller seiner Dimensionen halbiert wird. Dann werden die mit dem Teilvolumenelement X _l assoziierten Stützstellen ξ _ι und zugehörigen Stützgewichte w, entfernt und für jedes der neu erzeugten kleineren Teilvolumenelemente Stützstellen ξ _ι und zugehörigen Stützgewichte w, hinzugefügt. Dann folgt Schritt 2090, in dem der weitere Zähler I um eins inkrementiert wird. Anschließend wird zurückverzweigt zu Schritt 2050.

Ergibt die Überprüfung in Schritt 2070, dass die Bedingung nicht erfüllt ist („n"), folgt unmittelbar Schritt 2090.