Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR EVALUATING MICROSCOPIC SAMPLES AND DEVICE FOR CARRYING OUT SAID METHOD
Document Type and Number:
WIPO Patent Application WO/2019/077157
Kind Code:
A1
Abstract:
The invention relates to a method for evaluating microscopic samples and to a device for carrying out said method. The method according to the invention comprises the following steps: providing a slide (1) having microscopic samples (7); arranging the slide (1) on a microscope stage (9); imaging, with magnification, a portion (3) of the slide (1) by means of a digital camera (5) and a magnifying optical unit (11), the same portion (3) being imaged multiple times and, during the imaging of successive images, the focal plane of the images being shifted; creating a combined image from the plurality of successive images; and evaluating the combined image in order to evaluate the microscopic samples.

Inventors:
SNAIDR JIRI (DE)
BEIMFOHR CLAUDIA (DE)
BONSEN AXEL (DE)
MÜHLHAHN PETER (DE)
Application Number:
PCT/EP2018/078834
Publication Date:
April 25, 2019
Filing Date:
October 22, 2018
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
VERMICON AG (DE)
International Classes:
G02B21/00; G06T5/50; G06T7/00; G06V10/147
Domestic Patent References:
WO2014094790A12014-06-26
WO2003095986A12003-11-20
Foreign References:
DE10237470A12003-04-30
EP1202103A22002-05-02
Other References:
KUO-JEN HSU ET AL: "Optimizing depth-of-field extension in optical sectioning microscopy techniques using a fast focus-tunable lens", OPTICS EXPRESS, vol. 25, no. 14, 7 July 2017 (2017-07-07), pages 16783, XP055530414, DOI: 10.1364/OE.25.016783
J E HOBBIE ET AL: "Use of nuclepore filters for counting bacteria by fluorescence microscopy", APPLIED AND ENVIRONMENTAL MICROBIOLOGY, vol. 33, no. 5, 1 May 1977 (1977-05-01), US, pages 1225 - 1228, XP055530575, ISSN: 0099-2240
AMMAN, MICROBIAL. REV., vol. 59, 1995, pages 143 - 169
HAMAYUN A. KHAN: "MCS HOG Features and SVM Based Handwritten Digit Recognition Systems", JOURNAL OF INTELLIGENT LEARNING SYSTEMS AND APPLICATIONS, vol. 9, 2017, pages 21 - 33
CHANDRASHEKA, T.R.: "Face Recognition Based on Histogram of Oriented Gradients, Local Binary Pattern and SVM/HMM Classifiers", INTERNATIONAL JOURNAL OF ENGINEERING SCIENCES AND RESEARCH TECHNOLOGY, August 2014 (2014-08-01), pages 344 - 352
Attorney, Agent or Firm:
HENKEL, BREUER & PARTNER MBB (DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren zur Bewertung von mikroskopischen Proben, mit den Schritten:

Bereitstellen einer Trägers (1) mit mikroskopischen Proben (7) ;

Anordnen des Trägers (1) auf einem Mikroskoptisch (9) ;

Abbilden unter Vergrößerung eines Ausschnitts (3) des Trägers (1) mittels einer Digitalkamera (5) und einer vergrößernden Optik (11) ;

dadurch gekennzeichnet, dass

der gleiche Ausschnitt (3) mehrfach abgebildet wird, wobei während des Abbildens von aufeinanderfolgenden

Abbildungen eine Fokusebene der Abbildungen verschoben wird;

Erstellen einer kombinierten Abbildung aus den mehreren aufeinanderfolgenden Abbildungen; und

Auswerten der kombinierten Abbildung zur Bewertung der mikroskopischen Proben.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die kombinierte Abbildung dadurch erhalten wird, dass für jedes Pixel der kombinierten Abbildung der maximale Wert der positionsmäßig korrespondierenden Pixel der mehreren aufeinanderfolgenden Abbildungen bestimmt wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass

die kombinierte Abbildung mittels automatischer

Mustererkennung, insbesondere basierend auf einem Histogram of Oriented Gradient (HOG) in Kombination mit einem

Lernalgorithmus mittels Support Vector Machine (SVM)

ausgewertet wird.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass

sequenziell verschiedene Ausschnitte des Trägers (1) in ein Gesichtsfeld der Digitalkamera und der Optik (11) gebracht werden, wobei für jeden Ausschnitt mehrere

Abbildungen mit verschiedenen Fokusebenen erstellt werden, für jeden Ausschnitt eine kombinierte Abbildung erstellt und ausgewertet wird, und wobei anhand der Auswertung aller Ausschnitte die mikroskopischen Proben bewertet werden.

5. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass

der Träger (1) ein Filter ist, das zur Filtrierung einer mit Mikroorganismen kontaminierten Flüssigkeit verwendet und eingefärbt wurde.

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass zwischen je zwei aufeinanderfolgenden Abbildungen der Abstand zwischen dem Träger (1) und der Digitalkamera um 1 - 10 μτη, bevorzugt um 2μπι verändert wird, um so die Fokusebene zu verändern.

7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass

zur Bestimmung einer Ausgangsfokusebene verteilt über das Filter (1) mehrere Fokuswerte zur scharfen Abbildung einzelner Ausschnitte ermittelt werden, und wobei die

Ausgangsfokusebene für die aufeinanderfolgenden Abbildungen der übrigen Ausschnitte beruhend auf dem Mittelwert der mehreren Fokuswerte, dem Ausmaß der Veränderung der

Fokusebene zwischen aufeinanderfolgenden Abbildungen und der Anzahl der aufeinanderfolgenden Aufnahmen für eine

kombinierte Aufnahme berechnet wird.

8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass für jeden Ausschnitt 5 bis 50, vorzugsweise 10 bis 30, insbesondere bevorzugt 16 aufeinanderfolgende Abbildungen zu einer kombinierten Abbildung verarbeitet werden.

9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass

die Fokusebene schrittweise verändert wird.

10. Vorrichtung zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass die

Vorrichtung umfasst:

einen Mikroskoptisch (9) zum Anordnen eines Trägers (1) ; eine Digitalkamera (5) und eine vergrößernde Optik zum Abbilden unter Vergrößerung eines Ausschnitts (3) des Trägers (1) ,

Mittel zum Verändern einer Fokusebene der Digitalkamera (5) und der vergrößernden Optik in Bezug auf den Träger (1) ; eine Steuerung (11) zur Steuerung der Abbildung durch die Digitalkamera (5) und der Veränderung der Fokusebenen, um so mehrere Abbildungen eines Ausschnitts des Trägers (1) mit unterschiedlichen Fokusebenen zu erzeugen; und

eine Auswertungseinheit, die ausgestaltet ist, um eine kombinierte Abbildung aus den mehreren aufeinanderfolgenden Abbildungen zu erzeugen und um die kombinierte Abbildung zur Bestimmung der mikroskopischen Proben auszuwerten.

Description:
Beschreibung

Die Anmeldung betrifft ein Verfahren zur Bewertung von mikroskopischen Proben und eine Vorrichtung zur Ausführung dieses Verfahrens .

Zur Quantifizierung von Bakterien in einem größeren Flüssigkeitsvolumen, beispielsweise 100ml oder mehr, werden bei mikrobiologischen Untersuchungen die zu untersuchende Flüssigkeit filtriert. Üblicherweise werden hierzu Filter mit einer Seitenlänge oder Durchmesser von ca. 2,5cm verwendet. Anschließend werden die Mikroorganismen in bekannter Weise durch Kultivieren der Filter auf Agarplatten und

nachfolgender optischer Bestimmung von Mikrokolonien

analysiert.

Als moderne Methoden zur Bestimmung von Mikroorganismen, vorzugsweise Bakterien, auf Filtern hat sich mittlerweile eine spezifische Färbemethode, die sogenannte Fluoreszenz in Situ Hybridisierung (Fish) etabliert. Hierbei werden die Zellen auf einem Träger/Filter durch fluoreszenzmarkierte Nukleinsäure-Sondenmoleküle unter einem Mikroskop sichtbar gemacht. Dieses Verfahren ist in: Amman et. all Microbial . Rev. 59 (1995) , Seiten 143 - 169 beschrieben.

In anderen Ausführungsformen können spezifische

Färbemethoden auf das Filter selbst angewendet werden, und die fluoreszenzmarkierten Mikroorganismen können mittels Fluoreszenzmikroskops gezählt werden.

Da das Filter in der Fläche wesentlich größer als das Gesichtsfeld des Mikroskops ist, müssen zur vollständigen Quantifizierung der Mikroorganismen auf dem Filter eine

Vielzahl von Gesichtsfeldern bzw. Ausschnitten ausgezählt werden. Je nach Vergrößerung, Größe des Ausschnitts und Größe des Filters können einige 10.000 Ausschnitte vorliegen, die einzeln ausgewertet werden müssten.

Bei einer hohen Konzentration der Mikroorganismen hat sich daher eingebürgert, nur eine statistisch repräsentative Anzahl von 10 - 100 Ausschnitten zu zählen, und das Ergebnis entsprechend auf die gesamte Fläche hochzurechnen. Diese Vorgehensweise ist allerdings ungenau und mit großen Fehlern behaftet . Auch ist das händische Auszählen der

Mikroorganismen in einem Ausschnitt oft schwierig.

Um dieses Problem zu lösen, ist es bekannt, das Filter mithilfe von automatischen Mikroskopen, die über einen motorbetriebenen XYZ-Tisch verfügen, abzufahren und von jedem Ausschnitt über eine Digitalkamera eine Abbildung zu machen, das heißt ein digitales Bild aufzunehmen. Dieses Bild kann dann mit einer Mustererkennung bzw. Objekterkennung in bekannter Weise analysiert werden. Aktuelle Ausgestaltungen dieser automatischen Mikroskope benötigen für die Auswertung eines Trägers/Filters der oben genannten Art immer noch mehr als zwölf Stunden.

Ein Problem bei diesem Verfahren besteht darin, dass das Filter nicht vollständig eben ist. Das heißt, für jede

Aufnahme muss zunächst die Fokusebene eingestellt werden, sodass eine scharfe Abbildung erhalten wird.

Dieser Fokussierungsvorgang auf eine Zielebene, in der die zu erkennenden Mikroorganismen scharf abgebildet sind, wird beim Stand der Technik dadurch gelöst, dass über ein Hilfssystem, beispielsweise ein separat eingespeister

Lasterstrahl, die Oberfläche des Filters detektiert wird, und anschließend der Z-Motor des Mikroskoptisches so verfahren wird, dass die Filteroberfläche im Fokus liegt. Aufgrund der fehlenden Planarität des Filters, die vorangehend angesprochen wurde, ist dieser Fokussiervorgang für jeden Ausschnitt zu wiederholen. Dieser Fokussiervorgang ist im Vergleich zu der eigentlichen Aufnahme der digitalen

Abbildung sowie zu dem Verfahren des Tisches in XY-Richtung der zeitintensivste Schritt des gesamten Vorgangs.

Aufgabe der vorliegenden Erfindung ist es, ein neues Verfahren zur Bewertung von mikroskopischen Proben und eine entsprechende Vorrichtung bereitzustellen, die zuverlässig und schnell die Anzahl der zu untersuchenden mikroskopischen Proben auf einem Träger bestimmen kann.

Gelöst wird diese Aufgabe durch ein Verfahren gemäß Anspruch 1 und eine Vorrichtung nach Anspruch 10. Die abhängigen Ansprüche beziehen sich auf weitere vorteilhafte Ausgestaltungen der Erfindung.

Bei dem erfindungsgemäßen Verfahren zur Bewertung von mikroskopischen Proben wird zunächst ein Träger mit darauf ausgebildeten mikroskopischen Proben bereitgestellt. Dieser Träger wird auf einem Mikroskoptisch angeordnet. Mit Hilfe einer Digitalkamera und einer vergrößernden Optik wird ein Ausschnitt des Trägers abgebildet.

Das erfindungsgemäße Verfahren ist dadurch

gekennzeichnet, dass der gleiche Ausschnitt mehrfach

abgelichtet wird, wobei während des Abbildens von

aufeinanderfolgenden Abbildungen eine Fokusebene der

Abbildungen verschoben wird.

Aus den so gewonnenen mehreren aufeinanderfolgenden Abbildungen wird eine kombinierte Abbildung erstellt. Diese kombinierte Abbildung wird zur Bewertung der mikroskopischen Proben ausgewertet . Da erfindungsgemäß kein Fokussierschritt für die

einzelnen Abbildungen nötig ist, ist das Verfahren nur durch die Belichtungszeit der einzelnen Aufnahmen bestimmt, und somit wesentlich schneller als das bekannte Verfahren.

I einer bevorzugten Ausführungsform des Verfahrens wird die kombinierte Abbildung dadurch erhalten, dass für jedes Pixel der kombinierten Abbildung der maximale Wert der positionsmäßig korrespondierenden Pixel der mehreren

aufeinanderfolgenden Abbildungen bestimmt wird.

Es wird davon ausgegangen, dass ein Pixel einer

Abbildung den maximalen Wert dann einnimmt, wenn diese

Abbildung die Fokusebene in der Ebene des abzubildenden

Objekts, also der mikroskopischen Probe, hat. In den

Bereichen des Ausschnitts, in denen keine mikroskopische Probe vorhanden sind, in denen also keine Fluoreszenz

stattfindet, wird zwar ebenfalls der Maximalwert der Pixel herangezogen, dieser ist jedoch nur durch das Rauschen bestimmt, und wird sich deutlich von einem positiven Befund unterscheiden .

Bei einer weiteren Ausgestaltung der Erfindung wird die kombinierte Abbildung mittels automatischer Mustererkennung, insbesondere beruhend auf einem Histogram of Oriented

Gradients (HOG) in Kombination mit einem Lernalgorithmus mittels Support Vector Machine (SVM) ausgewertet.

HOG in Verbindung mit SVM ist eine bekannte Technik zur Mustererkennung, die beispielsweise für Gesichtserkennung oder die Erkennung von Handschriften verwendet wird.

Beispiele derartiger Mustererkennung sind etwa in Hamayun A. Khan, „MCS HOG Features and SVM Based Handwritten Digit

Recognition Systems", Journal of Intelligent Learning Systems and Applications, 2017, 9, Seiten 21-33 oder in Chandrasheka, T.R. et. all. "Face Recognition Based on Histogram of Oriented Gradients, Local Binary Pattern and SVM/HMM

Classifiers" , International Journal of Engineering Sciences 145 and Research Technology, August 2014, Seiten 344-352,

beschrieben.

Die erfindungsgemäß gewonnene kombinierte Abbildung ist für das menschliche Auge nicht scharf. Jedoch ermöglicht die 150 oben beschriebene Mustererkennung, wenn entsprechende

Parametersätze in einer speziell dafür vorbereiteten

Datenbank hinterlegt werden, eine zuverlässige und schnelle Erkennung von Mikroorganismen auf dem Träger/Filter.

155 Gemäß einem weiteren Aspekt der Erfindung werden

verschiedene Ausschnitte des Trägers sequenziell in das Gesichtsfeld der Digitalkamera und der Optik gebracht, wobei für jeden Ausschnitt mehrere Abbildungen mit verschiedenen Fokusebenen erstellt werden, für jeden Ausschnitt eine

160 kombinierter Abbildung erstellt und ausgewertet wird, und wobei anhand der Auswertung aller Ausschnitte die

mikroskopischen Proben auf dem Träger insgesamt bewertet werden .

165 Mit dem erfindungsgemäßen Verfahren kann der XYZ-Tisch des Mikroskops automatisch von einem Ausschnitt zum nächsten verfahren werden, bis das gesamte Filter/der gesamte Träger abgetastet ist. Auf diese Art ist eine schnelle und

vollständige Auswertung des Filters/Trägers möglich.

170

Erfindungsgemäß ist der Träger ein Filter, der zur

Filtrierung einer mit Mikroorganismen kontaminierten

Flüssigkeit verwendet und eingefärbt wurde. Anstelle eines Filters kann auch die Oberfläche einer mit Agar oder einem 175 anderen Kulturmedium gefüllte Schale abgetastet werden.

Weiter ist es bevorzugt, dass im Mittel zwischen je zwei aufeinanderfolgenden Abbildungen der Abstand zwischen dem Träger und der Digitalkamera um 1 - ΙΟμτη, besonders bevorzugt um 2μπι verändert wird, um dadurch die Fokusebene zu

verändern .

Die Auswahl des Abstands ist in Abhängigkeit der Größe der untersuchten Mikroorganismen oder Mikrokolonien so zu wählen, dass eine hinreichend große Wahrscheinlichkeit besteht, jeden Mikroorganismus tatsächlich in einer der

Abbildungen eines Stapels von aufeinanderfolgenden

Abbildungen mindestens einmal im Fokus zu haben. Darüber hinaus soll der Abstand auch hinreichend klein sein, um selbst bei einer Mehrzahl von Aufnahmen keine signifikante Änderung des Ausschnitts aufgrund der Vergrößerung oder

Verkleinerung des Abstands zwischen Träger und Digitalkamera zu haben. Das heißt, bei den üblichen digitalen Abbildungen, bei der die Pixel in Zeilen und Spalten angeordnet sind, entspricht ein in einer bestimmten Zeile und einer bestimmten Spalte angeordnetes Pixel einer ersten Abbildung annähernd demselben Ort auf dem Filter wie bei jeder anderen Abbildung des gleichen Ausschnitts auch bei verändertem Abstand

zwischen Träger und Kamera.

Auf diese Art ist es einfach möglich, die Fokusebene in kleinen Schritten zu ändern, wobei nur der Mikroskoptisch in Z-Richtung bewegt werden muss .

Es ist dabei nicht erforderlich, dass der Abstand während der Belichtungszeit einer Abbildung konstant bleibt.

Alternativ dazu ist es natürlich auch möglich, die Optik zu verstellen, so dass sich die Fokusebene ändert, oder die Digitalkamera zu verschieben, und den Träger ortsfest zu halten .

Gemäß einem weiteren vorteilhaften Verfahren der

Erfindung ist es vorgesehen, zunächst eine Ausgangsfokusebene 215 zu bestimmen, wobei verteilt über das Filter mehrere

Fokuswerte für scharfe Abbildungen einzelner Ausschnitte ermittelt werden, und wobei eine Ausgangsfokusebene für die aufeinanderfolgenden Abbildungen der übrigen Ausschnitte beruhend auf dem Mittelwert der mehreren Fokuswerte, dem

220 Ausmaß der Veränderung der Fokusebene zwischen

aufeinanderfolgenden Abbildungen und der Anzahl der

aufeinanderfolgenden Aufnahmen für eine kombinierte Aufnahme berechnet wird.

225 Wenn beispielsweise 16 Abbildungen eines Ausschnitts mit

einem Abstand der Fokusebene von 2μιτι gemacht werden sollen, so ist es sinnvoll, die erste Fokusebene um 8μη versetzt hinter den durch die Mittelwertsbildung der Fokuswerte ermittelte Ebene zu setzen, und anschließend in 2pm Schritten

230 den Abstand zwischen der Digitalkamera und dem Träger zu

vergrößern. In diesem Fall, werden Abbildungen mit

Fokusebenen in einem Bereich von plus minus 8μπι um den oben ermittelten Mittelwert zu erhalten.

235 Weiter ist es vorteilhaft, das für jeden Ausschnitt

zwischen 5 und 50, vorzugsweise zwischen 10 und 30

insbesondere bevorzugt 16 aufeinanderfolgende Abbildungen erzeugt werden, und zu einer kombinierten Abbildung

verarbeitet werden.

240

Es hat sich gezeigt, dass ein Bereich von 32μπι

ausreicht, um bei üblichen Filtern der eingangs beschriebenen Art eine brauchbare kombinierte Abbildung zu erhalten.

245 Des Weiteren ist es bevorzugt, die Fokusebene

kontinuierlich oder Schrittweise zu verändern. Ob eine kontinuierliche oder Schrittweise Veränderung der Fokusebene gewählt wird, hängt von der Belichtungszeit einerseits und vor allem der Verstellgeschwindigkeit der Fokusebene ab. Als 250 vorteilhaft hat es sich erwiesen, die Fokusebene in Stufen zu verfahren, eine Wartezeit einzuhalten, und dann die

Fokusebene um eine weitere Stufe zu verfahren. Dies kann dadurch geschehen, dass die Belichtungszeit der Kamera und das Mittel zum Verstellen der Fokusebene synchronisiert werden. Alternativ ist es auch möglich, nur über eine

Zeitsteuerung der Kamera und des Mikroskoptisches

sicherzustellen, dass eine Mehrzahl von Abbildungen des selben Ausschnitts mit unterschiedlichen Fokusebenen zu erhalten. Dies ist insbesondere dann vorteilhaft, wenn ein komplizierter Aufbau und eine komplizierte Steuerung

vermieden werden sollen.

Die erfindungsgemäße Vorrichtung zur Ausführung des oben genannten Verfahrens umfasst einen Mikroskoptisch zum

Anordnen eines Trägers, eine Digitalkamera und eine

vergrößernde Optik zum Abbilden einer Vergrößerung eines Ausschnitts des Trägers, Mittel zum Verändern einer

Fokusebene der Digitalkamera und der vergrößernden Optik in Bezug auf den Träger, eine Steuerung zur Steuerung der

Abbildung durch die Digitalkamera und der Veränderung der

Fokusebene, um so mehrere Abbildungen eines Ausschnitts des Trägers mit unterschiedlichen Fokusebenen zu erzeugen, und eine Auswertungseinheit, die ausgestaltet ist, um eine kombinierte Abbildung aus den mehreren aufeinanderfolgenden Abbildungen zu erzeugen und um die kombinierte Abbildung zur Bestimmung der mikroskopischen Proben auszuwerten.

Im Folgenden wird die Erfindung anhand von bevorzugten Ausführungsformen und anhand der beiliegenden Figuren

beschrieben.

Fig. 1: ist eine schematische Ansicht der erfindungsgemäßen

Vorrichtung;

Fig. 2: ist eine schematische Ansicht des Trägers mit dem

Ausschnitt und den Proben, die erfindungsgemäß auszuwerten sind; Fig. 3: ist ein Flussdiagramm zur Erläuterung des

Verfahrens der Erfindung.

Die Erfindung beruht im Wesentlichen darauf, das anstatt

290 für jedes Gesichtsfeld/Ausschnitt des Trägers, zu versuchen, ein scharfes fokussiertes Bild aufzunehmen, eine schnelle Folge von Bildern aufgenommen wird, während gleichzeitig der Mikroskoptisch 9 in Figur 1 in Z-Richtung verfahren wird. Innerhalb dieser aufgenommenen Abbildungsfolge

295 (beispielsweise 16 Bilder mit einem Abstand in Z-Richtung von

2μιη) befinden sich mehrere Abbildungen, in denen die

Mikroorganismen/Zellen scharf abgebildet sind. Durch ein Verrechnungsverfahren wird aus diesem Abbildungsstapel ein Gesamtbild errechnet, welches alle Informationen der

300 nacheinander aufgenommenen Abbildungen enthält, und damit

natürlich auch die Information der fluoreszenzmarkierten Zellen.

Die Darstellung der Zellen unterscheidet sich dabei

305 naturgemäß von derjenigen, wie sie für eine fokussierte

Abbildung der Zellen zu finden wäre. Da zur Objekterkennung ein lernender Algorithmus eingesetzt wird, kann die Zelle dennoch als Zelle erkannt werden, da der Erkennungs- algorithmus auf die Darstellung im Gesamtbild trainiert ist, 310 und nicht auf ein fokussiertes Bild der Zelle abstellt.

Durch dieses Verfahren ist es möglich, auf eine

automatische Fokussierung zu verzichten, um es auch einfachen Mikroskopen ohne mechanische und elektronische Fokussierung

315 in einer möglichst kurzen Zeit von weniger als zwei Stunden zu ermöglichen, einen Träger der eingangsgenannten Art zu vermessen und auszuwerten. Durch den Verzicht auf eine technisch aufwendige und teure Autofokussierung können kostengünstige Fluoroszenzmikroskope für eine automatische

320 Auswertung aufgerüstet werden. Wie oben ausgeführt, wird ein Abbildungsstapel aus

Einzelbildern, die in verschiedenen Ebenen fokussiert sind, an einer beliebigen Position auf einem Filter/Träger

325 aufgenommen. Die Abbildungen eines so aufgenommenen

Abbildungsstapels unterscheiden sich nur von der Fokusebene in Z-Richtung, wobei die X- oder Y-Richtung nicht verändert wird, d.h. die Bilder eines Stapels gehören zu einer festen XY-Koordinate auf dem Filter/Träger. Die Größe des Stapels

330 wird dabei so gewählt, dass sich die Ebene, die eine scharfe

Abbildung der Zellen liefert, über den gesamten Filter/Träger immer innerhalb der Abbildungen des Stapels befindet. Der durchschnittliche Unterschied in Z-Richtung über ein

typisches Filter/Träger bewegt sich im Bereich von 20μιτι, 335 wobei bevorzugt eine Abdeckung von 32μπι eingestellt wird.

Erfindungsgemäß wird bevorzugt die Bewegung des

Mikroskoptisches 9 in Z-Richtung von der reinen

Belichtungszeit der Abbildung entkoppelt. D.h., dass die

340 Verfahrbewegung des Mikroskoptisches 9 nicht mit der Aufnahme einzelner Abbildungen durch die Digitalkamera 5

synchronisiert ist. Dafür muss die Digitalkamera 5

parametrisiert sein und kontinuierliche Bilder liefern, und andererseits zur gleichen Zeit der Mikroskoptisch 9

345 entsprechend angepasst verfahren werden.

Durch die zusätzliche Entkopplung der Abbildung und der anschließenden Verarbeitung der Abbildungen des Stapels zu einer kombinierten Abbildung ergibt sich die

350 Abtastgeschwindigkeit für das Filter/Träger im Wesentlichen aus den Werten der Belichtungszeit, der Anzahl der

aufzunehmenden Abbildungen sowie dem Abstand zwischen den Bildern in Z-Richtung und der dafür benötigten Zeit zum Verfahren des Mikroskoptisches 9.

Die benötigte Zeit zur Aufnahme eines Abbildungsstapels ergibt sich dann zu: Tstapel = Tßelichtung * Π, wobei n die Anzahl der Abbildungen des Stapels ist

In einer bevorzugten Ausführungsform des Verfahrens werden 16 Abbildungen aufgenommen, wobei die Belichtungszeit in Abhängigkeit der Signalintensität, der Empfindlichkeit der Kamera und der Blendeneinstellung zu ermitteln ist.

Der Abstand bezogen auf die Z-Richtung der Abbildungen innerhalb des Stapels und damit der gesamte Verfahrweg während der Z-Bewegung berechnet sich aus:

Sstapel = SAbbildung *

Wobei Sstapei der gesamte Verfahrweg in Z-Richtung und SAbbildung der Verfahrweg einer einzelnen Abbildung ist.

Die sich daraus ergebende Geschwindigkeit ist in

bekannter Weise geben durch: V = Sstapel/Tstapel-

In der Praxis ist die sich ergebende Geschwindigkeit V für handelsübliche Z-Motoren von Mikroskoptischen 9 zu gering, d.h. die Verfahrgeschwindigkeit muss durch

zusätzliche Wartezeiten künstlich gedrosselt werden, um den Anforderungen der Belichtungszeit der Kamera gerecht zu werden. Das Verfahren des Mikroskoptisches 9 in Z-Richtung kann hierzu durch einen getakteten Betrieb ersetzt werden. Dazu wird der Mikroskoptisch während der Erstellung des

Stapels der Abbildungen nicht kontinuierlich mit konstanter Geschwindigkeit in Z-Richtung verfahren, sondern der

Mikroskoptisch 9 wird in Stufen mit zwischen geschalteten Wartezeiten bewegt. Dabei wird der Mikroskoptisch 9 zunächst nur um den gewünschten Abstand der Fokusebenen von zwei 395 aufeinanderfolgenden Abbildungen verfahren. Anschließend wird eine definierte Zeit gewartet und danach der Motor erneuert um diesen Abbstand verfahren, während die Kamera 5

kontiuierlich eine Abbildung nach der anderen erstellt. Die Wartezeit zwischen zwei Verfahrbefehlen wird errechnet aus:

400

Twarten = TBelichtung * nAnzahl der Bilder / HlAnzahl der Schritte ·

Mit mAnza i der schritte ist die Anzahl der gewünschten

Fahrunterbrechungen des Motors gemeint. Diese kann sich von

405 der Anzahl der Abbildungen unterscheiden. Insbesondere kann die Anzahl der Schritte größer als die Anzahl der Abbildungen eines Stapels sein. Es ist beispielsweise möglich, zunächst mit der Belichtung einer Abbildung zu beginnen, während der Mikroskoptisch 9 stillsteht, dann den Mikroskoptisch 9 zu

410 verfahren, während die Belichtung der gleichen Abbildung

durch die Kamrea 5 fortgesetzt wird. Anschließend das Verfahren erneut zu unterbrechen, während weiterhin die selbe Abbildung durch die Kamera belichtet wird. Nach Ende der Abbildungszeit kann der Motor weiter verfahren werden. In dem

415 Fall sind in einer Abbildung zwei oder mehrere Fokusebenen im

Sinne einer „Mehrfachbelichtung" überlagert.

Die Schrittweite, die der Mikroskoptisch 9 in Z-Richtung während der Belichtung einer Abbildung zurücklegt darf dabei

420 nicht größer als der Schärfebereich einer Zellenebene bzw.

nicht größer als die Zellengröße selbst sein. Ansonsten besteht die Möglichkeit, dass eine Zelle überhaupt in keiner der Abbildungen „scharf" abgebildet ist. Sie könnte dadurch der Detektion verloren gehen. Ein bevorzugter Wert für den Z-

425 Abstand zwischen zwei Bildern beträgt erfindungsgemäß 1 bis

ΙΟμη besonders bevorzugt 2μπι. Die gesamte Verfahrzeit lässt sich unter einbeziehen der herstellerspezifischen Motorgeschwindigkeit beispielsweise dann errechnen aus :

TFahrzeit pro Schritt = SAbbildung / VMotor ·

Hierbei wird davon ausgegangen, dass für das Beschleunigen und Abbremsen des Motors keine signifikante Zeit benötigt wird .

Da das Erstellen von Abbildungen durch die Kamera 5 nicht mit der Verfahrbewegung des Mikroskoptisches 9 in Z- Richtung synchronisiert ist, treten in der Praxis zusätzliche Abweichungen auf, die korrigiert werden können. Der

Korrekturfaktor dazu ist:

K = neesamtzahl der Abbildungen / nAnzahl der bereits aufgenommenen Abbildungen

Zur Kompensation der zusätzlichen Abweichungen wird die Wartezeit mit Hilfe des Korrekturfaktors bei der laufenden Abtastung dynamisch ständig angepasst:

Twarten korrigiert = Twarten * K

Erfindungsgemäß ist es darüber hinaus sinnvoll eine Startposition der Fokusebene für das Erstellen der

Abbildungen zu bestimmen.

Zu Beginn der automatisierten Erfassung eines

Filters/Trägers 3 wird daher erfindungsgemäß in einem ersten Schritt die Startposition der Fokusebene des Stapels so festgelegt, dass sich die Zellen zumindest in einem Bereich befinden, der durch das Verfahren des Mikroskoptisches 9 in Z-Richtung abgedeckt wird. Hierzu werden in der einfachsten Ausführungsform drei wahlfreie Punkte auf dem Filterrand manuell optimal fokussiert und der sich so ergebene Mittelwert für die Fokusebene (Z-Wert) als Startpunkt

465 verwendet.

In einer weiteren Ausführungsform werden mehrere Punkte auf dem Filter manuell optimal fokussiert und anschließend zur Berechnung einer Topologieebene des Filters verwendet. 470 Basierend auf dieser Topologieebene wird der Startpunkt in Z- Richtung für den Abbildungsstapel dynamisch anhand der XY- Koordinaten des gewählten Ausschnitts auf dem Filter/Träger korrigiert .

475 Die Position für den Start des Abbildungsstapels ergibt sich dann beispielsweise aus:

P Abbildungsstapel = PMittelwert ~ ( (Sßilder * nAnzahl Schritte) / 2)

480 Bei einem erfindungsgemäßen Beispiel wurde ein Leica

Fluoroszenzmikroskop DMRB mit einem 40fach Objektiv und einer 14 Megapixel Farbkamera (Basler acA4600-10uc USB3 Kamera) verwendet. Das Mikroskop wurde durch einen automatischen XYZ- Tisch OptiScanll ® der Firma Prior Scientific, Inc. erweitert.

485

Bei einer durchschnittlichen Belichtungszeit der Kamera 5 von 100 Millisekunden und einem Abstand der gewählten 20 Abbildungen untereinander von 2μιη bei 16 Schritten ergeben sich folgende Werte:

490

Gesamtheit für einen Stapel: 20 * 100ms = 2000ms

Gesamtverfahrweg für den Stapel: 2μπι * 16 = 32pm

Wartezeit: 100ms * 20 / 16 = 125ms

495 Bei diesem Beispiel ist die Anzahl der Abbildungen

größer als die Anzahl der Verfahrschritte. Auch wenn zwei Abbildungen die identische Fokusebene haben sollten, spielt dies bei der vorgeschlagenen Auswertung keine Rolle, da immer nur der maximale Wert eines Pixels unter den Abbildungen des Stapels berücksichtigt wird, wenn die kombinierte Abbildung erstellt wird.

Es wird also der Motorfahrbefehl für 2i an die

Motorsteuerung gesendet und gleichzeitig der Timer für die Wartezeit gestartet. Der Motor bleibt automatisch nach 2 μιη stehen und bekommt erneut ein Fahrbefehl, wenn der Timer für die 125ms abgelaufen ist. Wichtig ist, dass der Motor für die Strecke nicht länger braucht als 125ms, was aber in der

Realität sicher der Fall ist.

Im folgenden Fall beträgt die Motorgeschwindigkeit 200ym pro Sekunde

Dann gilt:

Trahrzeit pro Schritt = 2 μΐΏ / 2 0 0 μΐΐΙ / S = 0,01s = 10ms

Bei diesem Beispiel dauert die Aufnahme eines

Abbildungsstapels 2 Sekunden. Innerhalb dieser Zeit nimmt die Kamera bei einer Belichtungszeit von 100ms 20 Abbildungen auf. Bei der verwendeten Vergrößerung von 40 gibt sich dabei für das gesamte Filter/den Träger 1 eine Abtastzeit von lh 54min. Die gesamte Abtastzeit verlängert sich zusätzlich um den deutlich geringeren Anteil für das Verfahren des

Mikroskoptisches 9 in XY-Richtung auf maximal 2 Stunden.

Auf den einzelnen Bildern eines Abbildungsstapels wird, wie Eingangs dargelegt, eine kombinierte Abbildung errechnet, welche die Informationen aller Einzelabbildungen des Stapels enthält. Hierzu wird der maximale Pixelwert (PW) über alle Abbildungen des Stapels an jeder Position ermittelt, und an die gleiche Pixelposition in der kombinierten Abbildung eingetragen. Dies wird für jedes Pixel der Abbildungen des Stapels durchgeführt. Alle Abbildungen des Stapels haben die gleiche durch die Kamera vorgegebene Pixelzahl in XY- Richtung .

PW(X, Y) kombinierte Abbildung = PW(X, Y) Max aller Einzelbilder . Auf diese Art ergibt sich zwar ein für das menschliche

Auge unscharfes Bild bzw. Abbildung, da die Pixelwerte, vorzugsweise Helligkeitswerte, von unscharfen

Bildern/Abbildungen - einschließlich der Bewegungsunschärfe - zu entsprechenden Pixeln in der kombinierten Abbildung führen. Eine Auswertung dieser kombinierten Abbildungen kann aber dadurch erfolgen, dass ein lernfähiger

Erkennungsalgorithmus speziell auf diese „neuen" für Zellen spezifische Abbildungsobjekte trainiert wird. Hierzu werden in dem dargestellten Verfahren eine Kombination aus der

Objekterkennung basierend auf HOG (Histogram of Oriented

Gradients) zusammen mit Lernalgorithmus SVM (Support Vector Machine) auf diese Abbildungsobjekte trainiert, so dass diese stellvertretenden für eine fluoreszenzmarkierte Zelle erkannt werden. Einzelheiten der Mustererkennung werden hier nicht weiter ausgeführt, sie sind aber dem Fachmann aus dem bei der oben genannten Druckschriften für andere Zwecke,

beispielsweise Handschrifterkennung oder Gesichtserkennung, bekannt . In Fig. 1 ist zu sehen, wie die Vorrichtung prinzipiell aus dem Mikroskoptisch 9, dem darauf angebrachtem Filter oder Träger 1, der Optik 11 und der Digitalkamera 5 aufgebaut ist. Die Mikroskopoptik 11 und die Kamera 5 sind hier nur

schematisch als einzelne Linse und einfacher Kasten gezeigt. Der Fachmann ist jedoch mit dem Aufbau dieser Komponenten gut vertraut .

Fig. 2 zeigt eine Aufsicht auf den Träger 1 mit darin markiertem Ausschnitt 3, auf dem die Mikroorganismen 7 angeordnet sind. Das erfindungsgemäße Verfahren setzt, wie Eingangs beschrieben, voraus, dass zunächst, nach dem das

Filter/Träger 1 auf dem Mikroskoptisch 9 angeordnet und ein Ausschnitt ausgewählt wurde, eine Ausgangsfokusebene

eingestellt wird.

Anschließend wird ein Ausschnitt 7 des Filters/Trägers 1 mit der Digitalkamera 5 abgebildet und diese Abbildung gespeichert. In einem nächsten Schritt - vorzugsweise aber gleichzeitig mit der Belichtung der Abbildung - wird die Fokusebene verändert, beispielsweise in dem der

Mikroskoptisch 9 in Z-Richtung um 2μπι verfahren wird. Das Verfahren prüfte dann, ob die maximale Veränderung der Fokusebene bereits erreicht ist oder ob die gewünscht Anzahl an Abbildungen des Stapels erstellt wurde . Ist dies nicht der Fall, so wird eine weitere Abbildung des gleichen Ausschnitts hergestellt und gespeichert. Das Ausbilden einer Abbildung und das Verfahren der Fokusebene können

gleichzeitig oder aufeinander abgestimmt erfolgen, so dass das Verfahren in den Pausen zwischen zwei Abbildungen

erfolgt. Dies ist aber nicht bevorzugt, da es die Zeit zur Erstellung des Abbildungsstapels verlängern kann und da eine Synchronisation zwischen Mikroskoptisch 9 und Kamera 5 eingerichtet werden muss .

Ist einmal die maximale Veränderung der

Fokusebene/maximale Anzahl der Abbildungen des Stapels erreicht, wird aus den gespeicherten Abbildungen eine

kombinierte Abbildung erstellt, indem, wie beschrieben, für den Wert eines Pixels der kombinierten Abbildung der

Maximalwert der korrespondierenden Pixel der einzelnen

Abbildungen gewählt wird. Auf die so gewonnene kombinierte Abbildung wird ein Mustererkennungsverfahren angewendet und die Zahl der

Mikroorganismen/Zellen bestimmt. In einem nächsten Schritt wird der Mikroskoptisch 9 in

XY-Richtung zur Einstellung eines neuen Ausschnitts

verfahren. Es ist denkbar, bereits während dieser Bewegung in XY-Richtung den Mikroskoptisch 9 auch in Z-Richtung auf die neue Ausgangsfokusebene zu verfahren. Alternativ kann die Z- Bewegungsrichtung bei der Erstellung aufeinanderfolgender Abbildungsstapel auch umgekehrt werden, so dass die

Fokusebene der letzten Abbildung eines ersten Stapels die Ausgangsfokusebene des nächsten Stapels ist. Es wird geprüft, ob bereits alle Ausschnitte des Filters abgetastet wurden. Ist dies der Fall, so beendet die

Vorrichtung das Verfahren. Ist dies nicht der Fall, wird erneut die Ausgangsfokusebene eingestellt und ein neuer

Stapel von Abbildungen erstellt.

Obwohl die Erfindung vorangehend anhand von einer bevorzugten Ausführungsform beschrieben wurde, ist die

Erfindung hierauf nicht beschränkt. Verschiedene Abänderungen und Modifikationen können vorgenommen werden, die für den Fachmann geläufig sind.

Die hier beschriebene Mustererkennung ist nur ein

Beispiel. Andere Mustererkennungsverfahren sind dem Fachmann geläufig, und können angewendet werden.

Mit der Erfindung ist es möglich, die üblichen

Verarbeitungszeiten zum automatischen Abtasten eines Filters von 12 Stunden auf annähernd 2 Stunden zu verkürzen. Dies erhöht den Durchsatz und die Produktivität bei der Auswertung derartiger Filter beachtlich und senkt die Kosten. Die Erfindung wurde anhand des Abtastens eines Filters beschrieben. Sie ist darauf jedoch nicht beschränkt. Es ist ebenfalls möglich, die Oberfläche einer Schale,

beispielsweise einer Petrischale mit Agarmedium,

mikroskopisch zu untersuchen.

Bei der Erfindung wurde Fluoreszenz eingesetzt. Auch dies ist nicht zwingend, wenn andere optische Möglichkeiten zur Erkennung von Mikroorganismen oder Mikrokolonien gegeben sind, beispielsweise im Durchlicht.

Bei dem geschilderten Beispiel wurde der Helligkeitswert als Pixelwert ausgewählt. Es ist jedoch auch möglich, den

Helligkeitswert einer bestimmten Farbe zu verwenden, um eine bessere Selektivität zu erreichen.