Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems

Die Erfindung betrifft ein Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems, insbesondere eine Energieerzeugungsanlage. Bei der Steuerung bzw. Regelung von technischen Systemen ist es oftmals wünschenswert, den Betrieb des technischen Systems über die Durchführung von entsprechenden Aktionen derart zu beeinflussen, dass das Verhalten des technischen Systems in Bezug auf bestimmte Kriterien optimiert ist. Beispielsweise ist es bei dem Betrieb einer Gasturbine sinnvoll, die durch die Turbine erzeugten Abgasemissionen zu reduzieren bzw. die Verbrennungsdynamik der Brennkammer der Gasturbine (auch als Brennkammerbrummen bezeichnet) möglichst gering zu halten. Dabei kann z.B. auf Parameter betreffend die Zuführung von Gas und Luft zur Brennkammer der Gasturbine Einfluss genommen werden .

Aus dem Stand der Technik sind rechnergestützte Verfahren be ^¬ kannt, mit denen eine Aktionsauswahlregel bestimmt wird, wo- nach für entsprechende aufeinander folgende Zustände des technischen Systems, welche durch geeignete Zustandsvariablen des Systems charakterisiert sind, Aktionen ermittelt werden, welche im Hinblick auf ein Optimierungskriterium, wie z.B. die oben erwähnte geringe Schadstoffemission bzw. ein gerin- ges Brennkammerbrummen, optimal sind. In den Dokumenten [1] und [2] wird die Bestimmung einer Aktionsauswahlregel basie ^¬ rend auf dem Lernen eines rekurrenten neuronalen Netzes mit Trainingsdaten aus bekannten Zuständen und Aktionen beschrieben. Gemäß der Aktionsauswahlregel wird eine Aktionssequenz für einen aktuellen Zustand des technischen Systems unter Berücksichtigung von vergangenen Zuständen in Abhängigkeit von einem Optimierungskriterium ausgegeben. Die bekannten Verfahren zur Bestimmung einer Aktionsauswahlregel mittels rekurrenten neuronalen Netzen weisen den Nachteil auf, dass beim Lernen des rekurrenten neuronalen Netzes das Optimierungskriterium in der Form eines Gütemaßes mit einfließt. Demzufolge kann im Realbetrieb des technischen Systems nicht ohne weiteres auf ein sich veränderndes Opti ^¬ mierungskriterium reagiert werden, da hierzu das neuronale Netz komplett neu gelernt werden müsste.

Aufgabe der Erfindung ist es deshalb, ein Verfahren zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems zu schaffen, welches auf einfache Weise am techni ^¬ schen System durchzuführende Aktionen gemäß einem Optimie- rungskriterium bestimmt.

Diese Aufgabe wird durch die unabhängigen Patentansprüche ge ^¬ löst. Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen definiert.

Das erfindungsgemäße Verfahren dient zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems. Das technische System ist insbesondere eine Energieerzeugungsan ^¬ lage und in einer besonders bevorzugten Ausführungsform eine Gasturbine, wie weiter unten näher beschrieben ist. Gegebe ^¬ nenfalls kann das technische System jedoch auch eine Energie ^¬ erzeugungsanlage in der Form einer regenerativen Energieerzeugungsanlage, wie z.B. eine Windturbine, sein. Das dynami ^¬ sche Verhalten des technischen Systems wird im erfindungsge- mäßen Verfahren für mehrere Zeitpunkte jeweils durch einen

Zustand des technischen Systems und eine in diesem Zustand am technischen System durchgeführte Aktion charakterisiert, wo ^¬ bei eine jeweilige Aktion zu einem jeweiligen Zeitpunkt in einen neuen Zustand des technischen Systems zum nächsten Zeitpunkt führt. Eine Aktionssequenz stellt dabei eine oder mehrere aufeinander folgend in einer zeitlichen Reihenfolge am technischen System durchzuführende Aktionen dar. Ein Zustand des technischen Systems umfasst eine und vorzugsweise mehrere Zustandsvariablen, welche Betriebszustände des tech ^¬ nischen Systems bzw. den Betrieb des technischen Systems be ^¬ einflussende Größen sind. Demgegenüber sind Aktionen die Veränderung von einer oder mehreren Aktionsvariablen, wobei die Aktionsvariablen gegebenenfalls auch Zustandsvariablen darstellen können, welche im Rahmen der Regelung bzw. der Steuerung des technischen Systems verändert werden können.

In dem erfindungsgemäßen Verfahren kann für jede Aktionsse- quenz basierend auf den Zuständen des technischen Systems, welche aus dem Durchführen der Aktionen der Aktionssequenz resultieren, ein Gütemaß in Bezug auf ein Optimierungskrite ^¬ rium für den Betrieb des technischen Systems berechnet wer ^¬ den, wobei das Gütemaß umso höher ist, je besser das Optimie- rungskriterium erfüllt ist. Der Begriff des Optimierungskriteriums ist dabei weit zu verstehen, und dieses Kriterium kann ggf. mehrere Teil- bzw. Unterkriterien umfassen.

Gemäß Schritt bzw. Merkmal a) des erfindungsgemäßen Verfah- rens wird ein Simulationsmodell des technischen Systems be ^¬ reitgestellt, mit dem für jeweilige Aktionssequenzen die da ^¬ raus resultierenden Zustände des technischen Systems prädi- ziert werden können. Solche Simulationsmodelle sind an sich aus dem Stand der Technik bekannt. Das Simulationsmodell kann z.B. ein datengetriebenes Modell sein, welches auf vorab er ^¬ mittelten Daten des Betriebs des technischen Systems basiert bzw. mit diesen Daten gelernt ist. Ebenso kann das Simulati ^¬ onsmodell ein analytisches Modell und/oder ein physikalisches Modell des technischen Systems sein.

In einer besonders bevorzugten Ausführungsform wird als Simulationsmodell ein datengetriebenes Modell in der Form eines neuronalen Netzes, insbesondere ein rekurrentes neuronales Netz, verwendet. Das neuronale Netz ist dabei basierend auf Trainingsdaten von bekannten Aktionssequenzen mit bekannten daraus resultierenden Zuständen des technischen Systems gelernt. In einer speziellen Ausführungsform wird das in der Druckschrift [3] beschriebene neuronale Netz zur Modellierung des dynamischen Verhaltens eines technischen Systems im Rahmen des erfindungsgemäßen Verfahrens eingesetzt. Anstatt ei ^¬ nes neuronalen Netzes kann das datengetriebene Modell gegebe nenfalls auch auf Gaußschen Prozessen und/oder auf Regressionsbäumen und/oder auf einer Support Vector Regression beruhen .

In einem Schritt b) des erfindungsgemäßen Verfahrens wird zu einem jeweiligen vorgegebenen Zeitpunkt aus einer Folge von aufeinander folgenden vorgegebenen Zeitpunkten mittels eines numerischen Optimierungsverfahrens eine Aktionssequenz mit einem möglichst hohen Gütemaß ermittelt, wobei das Optimie ^¬ rungsverfahren das bereitgestellte Simulationsmodell verwen ^¬ det, um für Aktionssequenzen, die im Rahmen des numerischen Optimierungsverfahrens erzeugt werden, die daraus resultie ^¬ renden Zustände des technischen Systems zu prädizieren und anschließend mit diesen prädizierten Zuständen das Gütemaß der erzeugten Aktionssequenzen zu ermitteln. Unter dem Begriff der erzeugten Aktionssequenzen fallen alle, im Rahmen des numerischen Optimierungsverfahrens verarbeiteten bzw. ge nerierten Aktionssequenzen und nicht ausschließlich die von dem numerischen Optimierungsverfahren ermittelte und schluss endlich ausgegebene Aktionssequenz. Ein numerisches Optimie ^¬ rungsverfahren benötigt im Gegensatz zu anderen Methoden kei nen vorab durchgeführten Lernschritt.

In einer besonders bevorzugten Ausführungsform wird als nume risches Optimierungsverfahren ein nicht-konvexes heuristi ^¬ sches Optimierungsverfahren und/oder ein gradientenfreies stochastisches Suchverfahren eingesetzt. Besonders bevorzugt ist das numerische Optimierungsverfahren eine Teilchen- schwarmoptimierung (englisch: Particle Swarm Optimization) und/oder ein evolutionärer Algorithmus und/oder ein genetischer Algorithmus und/oder Simulated Annealing. All diese Verfahren sind an sich aus dem Stand der Technik bekannt und werden deshalb nicht näher beschrieben. In einem Schritt c) des erfindungsgemäßen Verfahrens wird zu ^¬ mindest ein Teil der Aktionen der in Schritt b) ermittelten Aktionssequenz am technischen System durchgeführt. Mit anderen Worten wird die erste Aktion und gegebenenfalls auch wei ^¬ tere darauf folgende Aktionen der ermittelten Aktionssequenz durchgeführt. Im Besonderen kann in Schritt c) nur die erste Aktion durchgeführt werden, wobei unmittelbar anschließend Schritt b) zur Ermittlung einer neuen durchzuführenden Aktion wiederholt wird. Hierdurch wird erreicht, dass die Aktionen sehr gut das verwendete Optimierungskriterium erfüllen.

Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass weder das verwendete Simulationsmodell noch das numeri ^¬ sche Optimierungsverfahren vorab im Rahmen eines Lernvorgangs das Gütemaß benötigen, wie dies beispielsweise beim Lernen einer Aktionsauswahlregel mittels eines neuronalen Netzes der Fall ist. Demzufolge kann das Verfahren schnell an sich ver ^¬ ändernde Bedingungen während des Betriebs des technischen Systems angepasst werden, indem das Gütemaß bzw. dessen Be ^¬ rechnung geeignet verändert wird. Vorzugsweise ist dabei bei der Regelung und/oder Steuerung des technischen Systems eine Benutzerschnittstelle vorgesehen, über welche ein Benutzer das Gütemaß verändern kann. Der Benutzer kann somit on-line während des Betriebs des technischen Systems das Gütemaß va ^¬ riieren. Der Betrieb des technischen Systems muss hierfür nicht unterbrochen werden. Ein Benutzer kann über die Benutzerschnittstelle durch Variation des Gütemaßes die von ihm gewünschten Schwerpunkte im Hinblick auf die Optimalität des Betriebs des technischen Systems einstellen. Im Falle eines technischen Systems in der Form einer Gasturbine kann er z.B. eine Gewichtung zwischen Lebenszeitverbrauch der Turbine und Effizienz vornehmen. In Notsituationen kann es sinnvoll sein, die Turbinen mit erhöhtem Lebenszeitverbrauch zu betreiben, da der Strom signifikant teurer verkauft werden kann und den erhöhten Verschleiß kompensiert.

In einer weiteren, besonders bevorzugten Ausführungsform ist das numerische Optimierungsverfahren eine Teilchenschwarmop- timierung, deren Teilchen jeweiligen Aktionssequenzen zugeordnet sind, welche bei der Initialisierung der Teilchen- schwarmoptimierung zufällig bestimmt werden und im Rahmen der Teilchenschwarmoptimierung iterativ mittels jeweiliger Ge- schwindigkeitsvektoren verändert werden, wobei die jeweiligen Geschwindigkeitsvektoren mittels einer Fitnessfunktion bestimmt werden, welche dem Gütemaß entspricht. Die Teilchen ^¬ schwarmoptimierung kann somit im erfindungsgemäßen Verfahren auf einfache Weise dadurch realisiert werden, dass die dabei verwendete Fitnessfunktion mit dem Gütemaß gleichgesetzt wird .

In einer weiteren Variante wird im Rahmen der Teilchenschwarmoptimierung bei der Berechnung des Geschwindigkeits- vektors für ein jeweiliges Teilchen eine Anzahl von Nachbarteilchen gemäß einer vorgegebenen Topologie herangezogen. Die Topologie spezifiziert Kanten zwischen den Teilchen, die in diesem Sinne Knoten entsprechen. Dabei sind alle Teilchen, die über eine Kante mit einem jeweiligen Teilchen (direkt) verbunden sind, Nachbarteilchen des jeweiligen Teilchens.

Durch die Berücksichtigung von Nachbarteilchen basierend auf einer vorgegebenen Topologie werden mittels der Teilchenschwarmoptimierung in der Regel bessere Lösungen gefunden. In einer speziellen Variante wird als vorgegebene Topologie eine Ringtopologie verwendet, bei der die Teilchen über Kan ^¬ ten derart verbunden sind, dass die Teilchen mit den Kanten einen Ring bilden. Demzufolge hat jedes Teilchen zumindest zwei Nachbarteilchen auf dem Ring. Optional können für ein jeweiliges Teilchen eine oder mehrere weitere Kanten vorgese ^¬ hen sein, welche das jeweilige Teilchen mit weiteren Teilchen verbinden, welche nicht über eine Kante des Rings mit dem je ^¬ weiligen Teilchen (direkt) verbunden sind. In einer weiteren bevorzugten Ausführungsform ist die Teilchenschwarmoptimierung derart ausgestaltet, dass ein Maximal ^¬ wert und ein Minimalwert der Geschwindigkeitskomponenten des Geschwindigkeitsvektors vorgegeben sind, wobei im Falle, dass eine Geschwindigkeitskomponente den Maximalwert überschrei ^¬ tet, diese Geschwindigkeitskomponente auf den Maximalwert ge ^¬ setzt wird, und wobei im Falle, dass eine Geschwindigkeits ^¬ komponente den Minimalwert unterschreitet, diese Geschwindig- keitskomponente auf den Minimalwert gesetzt wird. Vorzugswei ^¬ se ist dabei der Minimalwert der negative Wert eines positi ^¬ ven Maximalwerts. In der detaillierten Beschreibung wird diese Variante der Teilchenschwarmoptimierung noch näher erläutert .

In einer weiteren Modifikation der Teilchenschwarmoptimierung wird ein jeweiliger Geschwindigkeitsvektor in einem Iterationsschritt unter Verwendung des jeweiligen Geschwindigkeits ^¬ vektors des vorhergehenden Iterationsschritts multipliziert mit einem Gewichtungsfaktor ermittelt. Auch diese Modifikati ^¬ on der Teilchenschwarmoptimierung wird in der detaillierten Beschreibung noch näher erläutert.

In einer weiteren Ausführungsform des erfindungsgemäßen Ver- fahrens stellt das Gütemaß eine (diskontierte) Summe dar, de ^¬ ren Summanden jeweils ein Bewertungsmaß umfassen, das für jeden aus einer Aktion der Aktionssequenz resultierenden Zustand bestimmt wird, wobei das Bewertungsmaß in dem jeweili ^¬ gen Summanden vorzugsweise mit einem Faktor multipliziert ist, der umso kleiner ist, je weiter der Zustand, für den das Bewertungsmaß bestimmt wird, in der Zukunft liegt. Auf diese Weise werden bei der Bestimmung des Gütemaßes weiter in der Zukunft liegende Zustände immer weniger stark berücksichtigt. Mit dem erfindungsgemäßen Verfahren wird in einer besonders bevorzugten Variante eine elektrische Energieerzeugungsanlage umfassend eine Gasturbine geregelt bzw. gesteuert. Ein Zu ^¬ stand der Gasturbine umfasst dabei vorzugsweise eine oder mehrere der nachfolgenden Zustandsvariablen, wobei eine Akti- on insbesondere eine Veränderung von einer oder mehreren der nachfolgenden Zustandsvariablen betrifft:

der Verdichterwirkungsgrad der Gasturbine;

der Turbinenwirkungsgrad der Gasturbine; die geregelte Abgastemperatur der Gasturbine; die Stellung einer oder mehrerer Leitschaufeln, insbesondere im Verdichter der Gasturbine;

die Rotationsgeschwindigkeit der Gasturbine;

eine oder mehrere Drücke und/oder Temperaturen in der Gasturbine, insbesondere die Eintrittstemperatur

und/oder der Eintrittsdruck und/oder die Austrittstemperatur und/oder der Austrittsdruck im Verdichter und/oder in der Turbine;

die Temperatur in der Umgebung, in der die Gasturbine betrieben wird;

die Luftfeuchtigkeit in der Umgebung, in der die Gasturbine betrieben wird;

den Luftdruck in der Umgebung, in der die Gasturbine betrieben wird;

ein oder mehrere Massen- und/oder Volumenströme;

ein oder mehrere Parameter von einem Kühl- und/oder Hilfssystem und/oder Schmieröl- und/oder Lagersystemen in der Gasturbine, insbesondere die Stellung von einem oder mehreren Ventilen zur Zufuhr von Kühlluft;

die Leistung der Gasturbine, insbesondere ein prozentua ^¬ ler Leistungswert;

die Brennstoffgüte der Gasturbine;

die Schadstoffemission der Gasturbine, insbesondere die Emission von Stickoxiden und/oder Kohlenmonoxid;

die Temperatur einer oder mehrerer Turbinenschaufeln der Gasturbine ;

die Verbrennungsdynamik der Brennkammer der Gasturbine; ein oder mehrere Parameter betreffend die Zuführung von

Gas zu der Brennkammer der Gasturbine;

die Menge an der Gasturbine zugeführtem Gas;

Lager- und/oder Gehäuseschwingungen in der Gasturbine.

Im Falle einer Gasturbine eignet sich als Optimierungskrite ^¬ rium für den Betrieb des technischen Systems insbesondere ei ne möglichst geringe Schadstoffemission der Gasturbine und/oder eine möglichst geringe Dynamik der Brennkammer der Gasturbine . Neben dem oben beschriebenen Verfahren betrifft die Erfindung ferner eine Vorrichtung zur rechnergestützten Steuerung und/oder Regelung eines technischen Systems, insbesondere ei- ner elektrischen Energieerzeugungsanlage, wobei die Vorrich ^¬ tung eine Rechnereinheit umfasst, mit der das erfindungsgemä ^¬ ße Verfahren bzw. eine oder mehrere Varianten des erfindungs ^¬ gemäßen Verfahrens durchführbar sind. Die Erfindung betrifft darüber hinaus ein technisches System, insbesondere eine Energieerzeugungsanlage und vorzugsweise eine Gasturbine, welches die soeben beschriebe Vorrichtung beinhaltet . Darüber hinaus umfasst die Erfindung ein Computerprogrammpro ^¬ dukt mit einem auf einem maschinenlesbaren Träger gespeicherten Programmcode zur Durchführung des erfindungsgemäßen Steuer- und/oder Regelverfahrens, wenn der Programmcode auf einem Rechner ausgeführt wird.

Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand der beigefügten Figuren detailliert beschrieben.

Es zeigen:

Fig. 1 eine schematische Darstellung des Ablaufs einer

Ausführungsform des erfindungsgemäßen Verfahrens; und Fig. 2 verschiedene Varianten von Topologien, welche in der Teilchenschwarmoptimierung der Fig. 1 verwendbar sind.

Das erfindungsgemäße Verfahren wird nachfolgend am Beispiel eines technischen Systems in der Form einer Gasturbine be ^¬ schrieben. Ziel des Verfahrens ist es dabei, in einem ent ^¬ sprechenden Zustand der Gasturbine eine Sequenz von optima ^¬ len, in diesem Zustand und in Folgezuständen auszuführenden Aktionen zu bestimmen, wobei zumindest die erste Aktion der Sequenz tatsächlich ausgeführt wird. Ein Zustand ist dabei ein Vektor aus einer Vielzahl von Zustandsvariablen und kann die oben erläuterten Variablen umfassen. Eine Aktion umfasst eine Anzahl von Aktionsvariablen in der Form der Veränderung einer oder mehrerer Zustandsvariablen, die in der Gasturbine verstellt werden können. In dem erfindungsgemäßen Verfahren haben sich z.B. Parameter betreffend die Zuführung von Gas in die Brennkammer der Gasturbine als Zustandsvariablen für praktikabel erwiesen. Entsprechende Aktionen betreffen dabei die Veränderungen dieser Parameter. Die Parameter umfassen insbesondere entsprechende Brennstoffanteile, die an ver ^¬ schiedenen Positionen in die Brennkammer der Gasturbine eingespritzt werden. Diese Anteile können entsprechend verändert werden, wodurch Aktionen generiert werden. In dieser Variante der Erfindung stellen optimale Aktionen solche Aktionen dar, welche langfristig zu einem geringen Brummen in der Brennkammer führen. Gegebenenfalls können die Aktionen auch im Hinblick auf andere bzw. weitere Optimierungskriterien bestimmt werden, wie z.B. möglichst geringe Emissionen an Schadstof ^¬ fen .

In der hier erläuterten Ausführungsform wird gemäß Fig. 1 ausgehend von einem Zustand s des technischen Systems zu ei- nem aktuellen Zeitpunkt t, gegebenenfalls unter Berücksichti ^¬ gung von weiteren zurückliegenden Zuständen zu vergangenen Zeitpunkten, eine optimale Aktion a ermittelt, die dann am technischen System durchgeführt wird. Zur Bestimmung der Aktion a wird ein nicht-konvexes heuristisches Optimierungsver- fahren in der Form einer Teilchenschwarmoptimierung verwendet, welche in Fig. 1 mit PSO bezeichnet ist. Die Teilchen ^¬ schwarmoptimierung ist dabei ein an sich bekanntes Verfahren und die genaue Durchführung des Verfahrens in der Ausfüh ^¬ rungsform der Fig. 1 wird weiter unten näher erläutert.

Ferner wird zur Bestimmung der Aktion a ein rekurrentes neuronales Netz eingesetzt, das in Fig. 1 mit RNN bezeichnet ist. Dabei können an sich aus dem Stand der Technik bekannte rekurrente neuronale Netze verwendet werden, wie z.B. das in der Druckschrift [3] beschriebene neuronale Netz (sog. MPEN- Netz) . Das neuronale Netz RNN stellt eine Ausführungsform eines Simulationsmodells im Sinne von Anspruch 1 dar und dient dazu, für eine jeweilige Aktionssequenz, welche mehrere auf ^¬ einander folgend am technischen System durchzuführende Aktio ^¬ nen spezifiziert, die daraus resultierenden Folgezustände zu prädizieren. Das Verfahren der Fig. 1 beinhaltet darüber hinaus die Berechnung eines Gütemaßes RE, was in Fig. 1 durch den Schritt RC angedeutet ist (RC = Reward Calculator) .

Gemäß der Ausführungsform der Fig. 1 verwendet die Teilchenschwarmoptimierung PSO das rekurrente neuronale Netz RNN da ^¬ zu, um Zustände für eine in der Teilchenschwarmoptimierung verarbeitete Aktionssequenz zu prädizieren. Für die prädi- zierten Zustände wird anschließend das Gütemaß RE berechnet. Wie weiter unten näher beschrieben wird, verarbeitet die Teilchenschwarmoptimierung eine Vielzahl von Teilchen, die gemäß Fig. 1 mit dem Index i spezifiziert sind. Jedem Teil- chen ist dabei eine Aktionssequenz Ai zugeordnet, welche die ausgehend von dem Zustand s zum aktuellen Zeitpunkt aufeinander folgend auszuführenden Aktionen a±(0), a±(l), a±(T-l) umfasst. Mit anderen Worten wird ein Ereignishorizont von T Zeitschritten in die Zukunft ausgehend vom aktuellen Zeit- punkt betrachtet. Die Teilchenschwarmoptimierung läuft itera ^¬ tiv ab, wobei in jedem Iterationsschritt für jedes Teilchen eine entsprechende Aktionssequenz Ai erhalten wird. Zu Beginn der Teilchenschwarmoptimierung werden die einzelnen Aktionssequenzen zufällig initialisiert.

Die Aktionssequenz jedes Teilchens fließt in der Form ent ^¬ sprechender Eingangsknoten in das rekurrente neuronale Netz RNN ein, welches unter Verwendung einer geeigneten versteckten Schicht dann die aus den ausgeführten Aktionen a±(0), a±(l), ... usw. resultierenden Folgezustände sl, s2, sT in der Form von Knoten einer Ausgangsschicht ermittelt. Der Zu ^¬ stand sl ist der Zustand des technischen Systems nach Anwen ^¬ den der Aktion a±(0), auf den Zustand s, der Zustand s2 ist der Zustand des technischen Systems nach Anwenden der Aktion a±(l) auf den Zustand sl usw. Schließlich entspricht der Zu ^¬ stand sT dem Zustand des technischen Systems, der sich durch Anwenden der Aktion a±(T-l) auf den Zustand s(T-l) ergibt.

Die Teilchenschwarmoptimierung optimiert die Aktionssequenzen Ai der einzelnen Teilchen. Jede Aktionssequenz stellt einen n _x = IxT dimensionalen Vektor dar. T entspricht dem bereits oben erwähnten Ereignishorizont und I stellt die Anzahl der Aktionsvariablen für eine jeweilige Aktion a±(0), a±(2), ai(T-l) dar. Der Suchraum der Teilchenschwarmoptimierung ist somit ein Unterraum von K ^IxT ( K = Raum der reellen Zahlen) . Das Ziel der Teilchenschwarmoptimierung ist das Auffinden einer Aktionssequenz mit dem größten Gütemaß RE, wobei dieses Gütemaß als Fitnessfunktion f der Teilchenschwarmoptimierung verwendet wird. Die Fitness f (s, A^ für das Teilchen i mit der zugeordneten Aktionssequenz Ai ist dabei wie folgt gegeben: f: S X M ^IxT -> R,

f (s, A ₁ ) = RE = ir ^k~l r (sk) . (1)

k=l

S bezeichnet den Raum aller Zustände, die das technische Sys ^¬ tem einnehmen kann. Die Größe r(sk) stellt ein geeignet defi ^¬ niertes Bewertungsmaß (auch als Reward bezeichnet) für einen jeweiligen, über das neuronale Netz prädizierten Zustand sk dar, und die diskontierte gewichtete Summe aller Bewertungs ^¬ maße der Aktionssequenz Ai ist das Gütemaß RE . Der Diskontie ^¬ rungsfaktor γ wird mit größerem Abstand zum aktuellen Zeitpunkt t immer kleiner, so dass Bewertungsmaße, welche weiter in der Zukunft liegen, mit geringerem Gewicht in das Gütemaß einfließen. Das Bewertungsmaß wird gemäß dem gewünschten Op ^¬ timierungskriterium für den Betrieb des technischen Systems festgelegt. Spezifikationen entsprechender Bewertungsmaße sind dem Fachmann hinlänglich bekannt bzw. liegen im Rahmen von fachmännischem Handeln. In einer bevorzugten Ausführungsform wird ein von dem Ereignishorizont T abhängiger Faktor γ in der obigen Gleichung (1) verwendet, der wie folgt definiert ist: ^ = ^1/(T ^,T > l . (2)

Dabei ist q ein fester Wert mit 0 < q < 1. Dadurch fließt das Bewertungsmaß r(sl), d.h. das Bewertungsmaß für die erste Aktion, voll in das Gütemaß RE ein, während das Bewertungsmaß für den am weitesten in der Zukunft gelegenen Zustand r(sT) mit dem Faktor q diskontiert wird. Die Erfinder habend den Wert q=5%=0,05 verwendet.

Im Rahmen der Teilchenschwarmoptimierung wird iterativ basie- rend auf einer vorgegebenen Anzahl von Iterationsschritten, welche weiter unten mit dem Index m spezifiziert werden, für jedes Teilchen i über iterativ aktualisierte Geschwindig ^¬ keitsvektoren eine Aktionssequenz Aj _. ermittelt, für die dann über das rekurrente neuronale Netz RNN und über die Berech- nung RC das Gütemaß RE ermittelt wird, welches als Fitness in die Teilchenschwarmoptimierung einfließt und zur Berechnung des Geschwindigkeitsvektors und damit der Aktionssequenz der jeweiligen Teilchen für den nächsten Iterationsschritt führt. Nach Durchlaufen aller Iterationen wird durch die Teilchen- schwarmoptimierung eine optimale Aktionssequenz ausgegeben, welche in Fig. 1 mit A bezeichnet ist. In der hier beschrie ^¬ benen Ausführungsform wird die erste Aktion a = a(0) dieser optimalen Aktionssequenz A am technischen System ausgeführt. Dies führt im technischen System zu einem neuen Zustand s zum neuen aktuellen Zeitpunkt t. Dieser Zustand wird dann wiede ^¬ rum basierend auf dem Verfahren der Fig. 1 verarbeitet, um hierdurch die nächste Aktion zu ermitteln, die am technischen System ausgeführt wird. Das Verfahren der Fig. 1 kann in kurzer Rechenzeit von 5 sec oder weniger eine geeignete auszuführende Aktion ausgeben. Von den Erfindern durchgeführte Simulationen haben dabei gezeigt, dass die berechneten Aktionen zu hohen Gütemaßen und damit zu einer guten Erfüllung des über das Gütemaß spezifizierten Optimierungskriteriums führen. Dabei ist von Vorteil, dass auf einfache Weise das Gütemaß bzw. dessen Berechnung verändert werden kann. In einer besonders bevorzugten Ausfüh- rungsform kann bei Einsatz des Verfahrens der Fig. 1 auch eine Benutzerschnittstelle am technischen System vorgesehen sein, mit der ein Benutzer on-line bei Veränderung von Betriebsbedingungen des technischen Systems das Gütemaß entsprechend anpassen kann.

Nachfolgend werden bevorzugte Varianten der in Fig. 1 verwendeten Teilchenschwarmoptimierung PSO beschrieben. Allgemein ist der Algorithmus der Teilchenschwarmoptimierung eine popu- lations-basierte, nicht-konvexe, stochastische Optimierungs- heuristik. Dabei wird eine Vielzahl von Teilchen eines Teil- chenschwarms betrachtet, wobei ein jeweiliges Teilchen eine mögliche Lösung des betrachteten Problems darstellt. In der hier beschriebenen Ausführungsform ist jedem Teilchen eine potentielle Lösung in der Form einer zu ermittelnden optima- len Aktionssequenz Ai zugeordnet. Die Teilchen fliegen iterativ durch einen mehrdimensionalen Suchraum, der auch als Fitness-Landschaft bezeichnet wird. Nach jeder Bewegung erhält jedes Teilchen einen Fitnesswert für seine neue Position, der mit seinem vorhergehenden besten Fitnesswert verglichen wird. Der in der Teilchenschwarmoptimierung verwendete Fitnesswert wurde bereits oben definiert. Die Position eines Teilchens entspricht dabei der im entsprechenden Iterationsschritt be ^¬ stimmten Aktionssequenz Ai . Als Ergebnis der Teilchenschwarmoptimierung wird die Position (und damit die Aktionssequenz) mit der besten Fitness ausge ^¬ geben, die jemals von einem Teilchen in seiner Nachbarschaft gefunden wurde. Die Nachbarschaft ist dabei in geeigneter Weise über eine Topologie festgelegt und spezifiziert für ein jeweiliges Teilchen entsprechende Nachbarteilchen. Die Posi ^¬ tion, an der ein Teilchen den höchsten Fitnesswert erhält, wird als beste (eigene) Position des Teilchens bezeichnet. Demgegenüber wird die Position, an der ein beliebiges Teil- chen in der Nachbarschaft eines jeweiligen Teilchens inklusi ^¬ ve des jeweiligen Teilchens selbst den höchsten Fitnesswert erhält, als die beste Nachbarschaftsposition bezeichnet. Jedes Teilchen wird eindeutig durch einen Index i identifi ^¬ ziert, der für einen Schwärm aus N Teilchen von i=l bis i=N läuft. Dabei bezeichnet x,. (m) die Position des Teilchens i und damit die entsprechende Aktionssequenz Aj _. zum Iterations ^¬ schritt m, wobei in der Teilchenschwarmoptimierung eine vor- bestimmte Anzahl von Iterationsschritten durchgeführt wird. Die beste eigene Position eines jeweiligen Teilchens wird in dem Algorithmus zum Iterationsschritt m wie folgt berechnet:

Y, {m - \) , /a//s / (x. (m)) < / (y . (m

(3)

x _; (m) , falls f (x _i (m)) > (y _; (m

Dabei ist : Μ. ^ηχ -> IL die bereits oben definierte Fitnessfunk ^¬ tion für den n _x -dimensionalen Suchraum, wobei der Zustand s des technischen Systems zum aktuellen Zeitpunkt vorgegeben ist. Die Größe y _; («i) entspricht einer Aktionssequenz Ai aus Fig. 1. Beim Start der Teilchenschwarmoptimierung wird die Position eines jeden Teilchens zufällig festgelegt und ist zugleich auch die beste eigene Position.

Gemäß der oben genannten Topologie einer Nachbarschaft stel- len die Teilchen Knoten dar, die über Kanten miteinander verbunden sind, wobei die Nachbarschaft eines jeweiligen Teil ^¬ chens das Teilchen selbst beinhaltet sowie alle anderen Teil ^¬ chen, die direkt über eine Kante mit dem jeweiligen Teilchen verbunden sind. Die Topologie kann dabei auf verschiedene Weise definiert sein. Fig. 2 zeigt verschiedene Varianten von in der Teilchenschwarmoptimierung verwendbaren Topologien am Beispiel eines Teilchenschwarms mit 7 Teilchen. Dabei sind eine Sterntopologie ST sowie zwei Varianten einer Ringtopolo- gie RT1 und RT2 gezeigt. Die einzelnen Teilchen entsprechen dabei jeweiligen Knoten, die als Kreis angedeutet sind, wobei beispielhaft die Nachbarschaft des N-ten Teilchens hervorge- hoben ist. Die Knoten sind über Kanten K miteinander verbunden, wobei aus Übersichtlichkeitsgründen in jeder Topologie nur zwei Kanten mit dem Bezugszeichen K bezeichnet ist. Alle Knoten, die mit einem entsprechenden Teilchen direkt über ei- ne Kante K verbunden sind, stellen Nachbarschaftsteilchen des entsprechenden Teilchens dar. Gemäß der Sterntopologie ist dabei jedes Teilchen mit jedem anderen Teilchen verbunden, wohingegen in der Ringtopologie RT1 ein jeweiliges Teilchen vier Nachbarschaftsteilchen aufweist und in der Ringtopologie RT2 ein jeweiliges Teilchen nur zwei Nachbarschaftsteilchen aufweist. Gegebenenfalls können in der Teilchenschwarmopti ^¬ mierung gemäß Fig. 1 auch kompliziertere Topologien verwendet werden . Die Nachbarschaft des Teilchens i ist gemäß obiger Beschrei ^¬ bung definiert als:

N _; = {} {A:| Teilchen i und Teilchen k sind über eine Kante der Topologie verbunden}.

Im Rahmen der Teilchenschwarmoptimierung kommunizieren die Teilchen ihre eigenen besten Positionen an alle Teilchen in ihrer Nachbarschaft. Daraus bestimmt jedes Teilchen die beste Nachbarschaftsposition wie folgt: y.(m + l)= argmax f(x) _ _{( 4 )}

Anschließend bestimmen die Teilchen ihre Positionsaktualisie ^¬ rung basierend auf der weiter unten beschriebenen Geschwin- digkeit und bewegen sich entsprechend dieser Positionsaktua ^¬ lisierung. Die Geschwindigkeit für den nächsten Iterations ^¬ schritt wird dann als ein stochastischer Kompromiss zwischen der besten (eigenen) Position des jeweiligen Teilchens und der besten Nachbarschaftsposition ermittelt. Die Änderung der Position für jeden Iterationsschritt wird durch Addition eines Geschwindigkeitsvektors v _; (m) zu der Po ^¬ sition des jeweiligen Teilchens durchgeführt, und zwar basie ^¬ rend auf folgender Gleichung: ; (m +l) = x _i (m) + v'(m +l), mit

( 5 ) v _tj (m +1) = wv _tj ' (m)+ _Cl r _1; (m)[_y _v (m)-x.. (m)] + c ₂ r _2J (/n)[j> _; (w)-x.. (m)]

Dabei wird das Verfahren mit jeweiligen Teilchenpositionen x _; (0) initialisiert, welche gleichverteilt zwischen vorab festgelegten Grenzen ^ und x _max liegen, d.h. es gilt

xi(0)~^( ^x min' ^X max) ·

Der Geschwindigkeitsvektor v _; (m) enthält sowohl eine kognitive Komponente als auch eine soziale Komponente und treibt den Optimierungsprozess des Algorithmus an. Dabei stellt Vy (m) die Geschwindigkeit des Teilchens i in der Dimension j = \,...,n _x zum Iterationsschritt m dar, wobei j den Index der Aktionsva ^¬ riablen über alle Aktionen der Aktionssequenz (und damit des Ereignishorizonts T) repräsentiert. Die Variable y(m) ist die Position des Teilchens i in der Dimension j zum Iterati ^¬ onsschritt m und entspricht somit dem Wert einer Aktionsvari ^¬ ablen der Aktionssequenz. Die Größen Ci und C2 sind positive Beschleunigungskonstanten, die zur Skalierung des Beitrags der kognitiven und der sozialen Komponente verwendet werden. Beispielsweise kann Ci = C2 = 1,49618 verwendet werden. Die Variablen r ₁ j(m),r ₂ j(jn)~U(0,1) sind Zufallswerte im Bereich [0, 1], die aus einer Gleichverteilung entnommen werden, um in dem Algorithmus ein stochastisches Element einzuführen. Der konstante Faktor w aus Gleichung (5) stellt ein Träg ^¬ heitsgewicht (englisch: inertia weight) dar (siehe auch

Druckschrift [5]). Dieses Trägheitsgewicht w steuert, wieviel Gedächtnis von der Geschwindigkeit der vorhergehenden Itera ^¬ tion die neue Geschwindigkeit beeinflussen soll. Der Faktor w wird üblicher Weise mit einem festen Wert aus dem Bereich

[0,1] belegt. In einer besonders bevorzugten Variante wird w = 0,7298 gewählt. Eine Teilchenscharmoptimierung mit w = 1 kann auch als eine Teilchenscharmoptimierung ohne Trägheitsgewicht aufgefasst werden.

Zudem wird ein „Velocity Clamping" verwendet (siehe auch

Druckschrift [4]) . Dabei wird die Geschwindigkeit an einem spezifischen Maximalwert _max/ in der Dimension j abgeschnit ^¬ ten. Mit anderen Worten wird die Geschwindigkeit des Teil ^¬ chens i wie folgt angepasst:

V^ _j , falls _ViJ (m + \) > V _s

(m n ++ l\)) ,, ffaallllss -- VV _mms ^ _ii << v _ViJ .. ((mm ++ l\)) :< V _miXj ^ _{( g )}

-V _m ^ _j , falls _Vij {m +\)<-

Vorzugsweise wird der Maximalwert V _{miX j} derart festgelegt, dass er 10% des zur Verfügung stehenden Gesamtbereichs der Positionsschwankung der entsprechenden Dimension j beträgt, d.h. es gilt: Ggf. kann die Teicheschwarmoptimierung auch ohne Velocity Clamping durchgeführt werden. In diesem Fall gilt: Für den Algorithmus der Teilchenschwarmoptimierung ist in der hier beschriebenen Ausführungsform eine vorbestimmte Anzahl von Iterationen vorgegeben. Wird diese Anzahl erreicht, wird als Ergebnis aus den besten Nachbarschaftspositionen aller Teilchen diejenige beste Nachbarschaftsposition mit der größ- ten Fitness ausgegeben. Diese entspricht der Aktionssequenz A gemäß Fig . 1.

Die obige Ausführungsform des erfindungsgemäßen Verfahrens wurde von den Erfindern anhand der Regelung einer Gasturbine getestet. Dabei wurde die so oben beschriebene Teilchen- schwarmoptimierung mit den zwei Modifikationen verwendet. Mit entsprechenden Aktionen wurden zwei Stellgrößen der Gasturbine verändert. Das Gütemaß wurde im Hinblick auf geringes Brennkammerbrummen und geringe Schadstoffemissionen der Turbine definiert. Als Ereignishorizont der Aktionssequenzen wurden 30 Schritte in die Zukunft betrachtet. Es wurden für die Teilchenschwarmoptimierung unter anderem 20 Iterationsschritte und eine Schwarmgröße von 50 Teilchen betrachtet. Ferner wurde die Nachbarschaft basierend auf einer Ringtopo- logie mit vier Nachbarn festgelegt. Als rekurrentes neurona ^¬ les Netz wurde das in der Druckschrift [3] beschriebene neuronale Netz zur Modellierung des dynamischen Verhaltens eines technischen Systems eingesetzt. Im Rahmen des Tests des Verfahrens konnte nachgewiesen werden, dass die erfindungsge ^¬ mäße Regelung bzw. Steuerung sehr gut Aktionen mit hohen Gütemaßen und in angemessener Rechenzeit bestimmt.

Die im Vorangegangenen beschriebenen Ausführungsformen des erfindungsgemäßen Verfahrens weisen eine Reihe von Vorteilen auf. Insbesondere kann mit dem rechnergestützten Verfahren in angemessener Rechenzeit die Regelung bzw. Steuerung eines technischen Systems im Hinblick auf ein beliebiges Optimie ^¬ rungskriterium erreicht werden. Dabei kann das Optimierungs ^¬ kriterium in einfacher Weise durch Veränderung des hierfür definierten Gütemaßes angepasst werden, denn das Gütemaß wird nicht bereits vorab im Rahmen eines Lernvorgangs verwendet, wie dies beispielsweise beim Lernen einer Aktionsauswahlregel basierend auf einem neuronalen Netz der Fall ist. Demzufolge kann das Gütemaß im Realbetrieb des technischen Systems prob ^¬ lemlos variiert werden. Literaturverzeichnis :

[1] DE 10 2007 001 025 AI [2] DE 10 2008 020 379 AI [3] DE 10 2010 011 221 AI

[4] D. P. Rini, S. M. Shamsuddin, S. S. Yuhaniz, "Particle Swarm Optimization : Technique, System and Challenges", International Journal of Computer Applications (0975- 8887), Volume 14, No . 1, Januar 2011

[5] Y. Shi, R. Eberhart "A Modified Particle Swarm Optimiz- er", Proceedings of the IEEE Congress on Evolutionary Computation, Seiten 69 bis 73, Mai 1998