Color Picture Module

[dietmar]

Moin Mischa,

ich versuche seit ein paar Tagen ein Farbbild aus Daten meiner DSLR zu erzeugen aber das Ergebnis ist immer grün.
Heute hab' ich die Sourcen neu gezogen und neu gebaut um zu sehen, ob sich was geändert hat.
Jetzt geht gar nichts mehr

Wenn ich auf "crop coadded images" klicke bekomme ich folgende Terminal-Ausgaben:
QObject: Cannot create children for a parent that is in a different thread.
(Parent is MyImage(0x7f81a8005940), parent's thread is QThread(0x55f1a07aa9a0), current thread is QThread(0x7f81a4001390)
QObject: Cannot create children for a parent that is in a different thread.
(Parent is MyImage(0x7f81a803cc20), parent's thread is QThread(0x55f1a07aa9a0), current thread is QThread(0x7f8198001370)
QObject: Cannot create children for a parent that is in a different thread.
(Parent is MyImage(0x7f81a8006da0), parent's thread is QThread(0x55f1a07aa9a0), current thread is QThread(0x7f819c001240)
QObject: Cannot create children for a parent that is in a different thread.
(Parent is MyImage(0x7f81a802c030), parent's thread is QThread(0x55f1a07aa9a0), current thread is QThread(0x7f81a0001370)
QObject: Cannot create children for a parent that is in a different thread.
(Parent is MyImage(0x7f81a80346c0), parent's thread is QThread(0x55f1a07aa9a0), current thread is QThread(0x7f8188001240)
Segmentation fault (core dumped)

Und folgenden Backtrace:
#0 MyImage::makeCutout (this=0x7f81a8006da0, xmin=xmin@entry=0, xmax=xmax@entry=5546, ymin=ymin@entry=0, ymax=ymax@entry=3693)
at /usr/include/x86_64-linux-gnu/qt5/QtCore/qarraydata.h:209
#1 0x000055f19e054788 in ColorPicture::_ZN12ColorPicture22taskInternalCropCoaddsEv._omp_fn.0(void) () at colorpicture/subtaskCropcoadd.cc:180
#2 0x00007f81da11579e in ?? () from /lib/x86_64-linux-gnu/libgomp.so.1
#3 0x00007f81da440fa3 in start_thread (arg=<optimized out>) at pthread_create.c:486
#4 0x00007f81da01d4cf in clone () at ../sysdeps/unix/sysv/linux/x86_64/clone.S:95

Viel Spaß noch
Dietmar

[mischa]

Hi Dietmar,

kannst du mir die koaddierten Bilder hochladen?

mischa

[dietmar]

Hallo Mischa,

ich würde die Bilder ja gern hochladen aber befürchte die sind zu groß (193MB). Ich krieg immer "Internal Server Error".
Kann ich se dir anders zukommen lassen?

Gruß
Dietmar

[mischa]

dropbox.com, oder irgendein anderer file share server tun es auch!

LG,

mischa

[mischa]

Hallo Dietmar,

da war tatsaechlich noch ein bug. Einer der Dateipfade ist ungueltig geworden, nachdem ich das handling der FITS dateien etwas umgebaut habe, um weniger Speicher zu verbrauchen.
Jetzt gehts. Du kannst dir den neuen master branch holen.

Bei der Kalibration gegen G2 findet sich nur ein einziger Referenzstern in deinem Bild im APASS Katalog, der noch dazu in deinem Bild sehr schwach ist. Du kannst ihn dir anzeigen lassen, indem du auf "Show G2 references" gehst. Der Stern ist oben am Rand in der Mitte.

Das kann nun sein, dass das reines Rauschen ist und daher die Farbfaktoren nicht zuverlaessig sind, oder aber der Stern ist variabel. Eine andere Moeglichkeit waere, dass er gesaettigt ist, aber das trifft bei deinem Bild nicht zu. In diesem Fall kannst du einfach auf "average white" zurueckfallen.

mischa

[dietmar]

Moin Mischa,

Einer der Dateipfade ist ungueltig geworden, nachdem ich das handling der FITS dateien etwas umgebaut habe, um weniger Speicher zu verbrauchen.

Das klingt wie der Fehler, den ich immer kriege, wenn ich nach der Astrometie den Accept-Button klicke.
Als workaround habe ich nach "Create Catalogs" Theli immer beendet und neu gestartet.
Du scheinst Theli beschleunigt zu haben indem Du viel im RAM arbeitest aber dann irgendwie eine Inkonsistenz zwischen RAM und Dateisystem entsteht.

Heute Abend probier ich das mal aus und guck' mir die grünen Bilder nochmal an.
Aber erstmal hab ich 'n wichtigen Friseurtermin, den 1. seit 3 Monaten...

Bis denn
Dietmar

[mischa]

Das klingt wie der Fehler, den ich immer kriege, wenn ich nach der Astrometie den Accept-Button klicke.
Als workaround habe ich nach "Create Catalogs" Theli immer beendet und neu gestartet.

Das sollte nicht sein. Welchen Fehler kriegst du da? Stuerzt THELI ab, oder bekommst du eine Meldung im Monitor? Falls letzteres, wie lautet die? Am besten setzt du da mal in den Einstellungen den verbosity mode auf "debug" und schickst mir die Ausgabe, die im 'monitor' angezeigt wird (falls kein Absturz).

Richtig, ich mache im Grunde alles soweit moeglich im RAM. Eine Inkonsistenz mit dem Dateisystem tritt aber nicht auf, ausser man faengt ausserhalb von THELI an, FITS Dateien umzubenennen oder zu verschieben

mischa

[dietmar]

Moin Mischa,

nein, ich habe nix umbenannt.
Theli stürzt nicht ab, sondern meldet im Monitor, dass eine Datei nicht da wäre.
Das würde ich gern reproduzieren, aber jetzt hängt theli bei den weights (vor wenigen Minuten git pull).
Stürzt nicht ab, sondern der Prozess macht einfach nichts mehr. Hast Du da 'n deadlock gebaut?
Theli läuft in 26 Threads und macht nichts.

Letzte Worte:

Code: Alles auswählen

##############################################
Creating global weights for light1
##############################################

Same weight for all pixels = N
Min value allowed for BIAS / DARK [e-] =
Max value allowed for BIAS / DARK [e-] =
Min value allowed for norm. FLAT [e-] = 0.5
Max value allowed for norm. FLAT [e-] = 1.5
Min value allowed for background model [e-] =
Max value allowed for background model [e-] =
Defect detection in FLAT: Kernel size =
Defect detection in FLAT: Row tolerance =
Defect detection in FLAT: Column tolerance =
Defect detection in FLAT: Cluster tolerance =
Defect detection in BACK: Kernel size for =
Defect detection in BACK: Row tolerance =
Defect detection in BACK: Column tolerance =
Defect detection in BACK: Cluster tolerance =

dataBackupL1 for chip 1 marked 'deletable'
bias_1 : Already in memory
flat_1 : Already in memory
Initializing globalweight for chip 1 from master flat, thresholds = [0.5, 1.5]
Writing globalweight for chip 1
!/srv/images/Camera_1/2020-04-11-test/GLOBALWEIGHTS//globalweight_EOS600D@GSORC8-f5.36-test_B_1.fits : Written to drive.
!/srv/images/Camera_1/2020-04-11-test/GLOBALWEIGHTS//globalweight_EOS600D@GSORC8-f5.36-test_G_1.fits : Written to drive.
!/srv/images/Camera_1/2020-04-11-test/GLOBALWEIGHTS//globalweight_EOS600D@GSORC8-f5.36-test_R_1.fits : Written to drive.

##############################################
Creating individual weights for light1
##############################################

Min value allowed in image [e-] =
Max value allowed in image [e-] =
Detection aggressiveness for cosmics =
Mask blooming spikes = N
Blooming spike min value [e-] =
Blooming spike dynamic range [e-] =
Mask persistent pixels = N
Maximum lookback time [min] =
Persistence trigger level [e-] =

dataBackupL1 for chip 1 marked 'deletable'
EOS600D.2020-04-11T22:23:35_B_1 : Creating weight map ...
EOS600D.2020-04-11T22:23:35_B_1 : Already in memory
EOS600D.2020-04-11T22:23:35_B_1 : Init weight from global weight ...
EOS600D.2020-04-11T22:28:45_R_1 : Creating weight map ...
EOS600D.2020-04-11T22:28:45_R_1 : Already in memory
EOS600D.2020-04-11T22:28:45_R_1 : Init weight from global weight ...
EOS600D.2020-04-11T22:33:51_B_1 : Creating weight map ...
EOS600D.2020-04-11T22:33:51_B_1 : Already in memory
EOS600D.2020-04-11T22:08:08_R_1 : Creating weight map ...
EOS600D.2020-04-11T22:08:08_R_1 : Already in memory
EOS600D.2020-04-11T22:18:28_G_1 : Creating weight map ...
EOS600D.2020-04-11T22:18:28_G_1 : Already in memory
EOS600D.2020-04-11T22:08:08_B_1 : Creating weight map ...
EOS600D.2020-04-11T22:08:08_B_1 : Already in memory
EOS600D.2020-04-11T22:28:45_B_1 : Creating weight map ...
EOS600D.2020-04-11T22:28:45_B_1 : Already in memory
EOS600D.2020-04-11T22:13:16_G_1 : Creating weight map ...
EOS600D.2020-04-11T22:13:16_G_1 : Already in memory
!/srv/images/Camera_1/2020-04-11-test/WEIGHTS/EOS600D.2020-04-11T22:23:35_B_1.weight.fits : Written to drive.
EOS600D.2020-04-11T22:23:35_G_1 : Creating weight map ...
EOS600D.2020-04-11T22:23:35_G_1 : Already in memory


Viel Spaß noch
Dietmar

[mischa]

Hi Dietmar,

an den weights hab ich nichts geaendert. Wie hoch ist deine Speicherauslastung? Ging es mit dem gleichen Datensatz vorher?

mischa

[dietmar]

Moin Mischa,

Speicherauslastung ist im grünen Bereich (3.5G RAM + 32G swap frei).
Es ist der selbe Datensatz aus dem die Bilder stammen die ich auf menen FTP-Server gestellt hab, es hat also mal funktioniert.
Theli erzeugt die weights für den blauen Kanal und bleibt dann einfach stehen, als ob es auf etwas wartet, das nicht passiert (Symtom eines deadlock).

Bis denn
Dietmar

[dietmar]

Moin Mischa,

ergänzend hier noch'n screenshot:

Screenshot_2020-05-08_10-33-42.png

[mischa]

Hi Dietmar,

das scheint nur DSLR Daten nach dem debayering zu betreffen, nachdem ich vor kurzem eine Klippe in der libwcs Library umschifft habe, die offenbar nicht ganz thread-safe ist. Warum genau das mit DSLR Daten nicht geklappt hat habe ich noch nicht recht verstanden. Aber der data flow ist entsprechend korrigiert und jetzt sollte es gehen.

mischa

[dietmar]

Hi Mischa,

kapier ich nicht
Die weights werden doch aus FITS erzeugt, es sollte daher völlig Hupe sein ob die Bilder direkt als FITS aus der Kamera gepurzelt sind oder erst nach FITS konvertiert wurden.
Wie dem auch sei: es läuft jetzt wieder durch und ich kann wieder grüne Bilder erzeugen.

Das alles grün ist hat meiner Ansicht nach nichts mit der Farbkalibrierung zu tun, sondern die Bilder sind nach der Coaddition schon grün.
Ich hab' jetzt meine M1-Daten durchlaufen lassen und das kam dabei raus:

rot.png

gruen.png

blau.png

Das sind die iView-Fenster, wie sie nach der Coaddition aufpoppen. Wie du siehst habe ich bei allen Min auf 0 und Max auf gesetzt.
Ich hätte erwartet, dass der Hintergrund deshalb bei allen einheitlich grau ist. Aber er ist im grünen Bild hellgrau und bei den beiden anderen schwarz.
Und der Nebel ist im grünen Bild schon ausgebrannt.

Wenn ich ein Rohbild mit dcraw_emu aus der libraw konvertiere sieht's gut aus.

Wie ich gesehen hab' benutzt du zum debayern nicht die libraw, sondern hast was eigenes geschrieben, das ich aber nicht kapiere (debayer()).
Fängt schon an mit einer Schleife, die nie durchlaufen wird, weil die Bedingung davor immer false liefert, weil da Konstanten mit Konstanten verglichen werden (debayer()#L200)

Bin ich eigentlich der erste, der DSLR-Daten an Theli3 verfüttert?

Viel Spaß noch
Dietmar

[mischa]

Hi Dietmar,

da hat deine sky subtraction im Gruenkanal nicht funktioniert. Der Hintergund liegt bei etwa 1.8 +/- 0.2, waehrend er bei den anderen Aufnahmen konsistent mit Null ist (0.01 +/- 0.2) . Warum das so ist kann ich dir ohne weitere Information nicht sagen.

Gesaettigt sollte dein M1 aber in den coaddierten FITS Dateien aber nicht sein.

Was mir bei deinen coaddierten FITS Bildern von NGC 896 noch aufgefallen ist, ist, dass das GAIN und EXPOSURE keyword auf Null steht. das sollte definitiv nicht sein. Eventuell haben deine RAW Dateien da ein Format, das ich noch nicht gesehen habe. Kannst du mir mal eines der lights im Rohformat hochladen?

Code: Alles auswählen

Die weights werden doch aus FITS erzeugt, es sollte daher völlig Hupe sein ob die Bilder direkt als FITS aus der Kamera gepurzelt sind oder erst nach FITS konvertiert wurden.


Genau, sollte pupsegal sein, ist es aber nicht. Der dataflow is jetzt korrekt, aber ich hab noch nicht verstanden, warum ich da eine extrawurscht einbauen musste. Die Umschiffung des bugs in der libwcs library sollte unabhaengig davon sein.

Code: Alles auswählen

Wie ich gesehen hab' benutzt du zum debayern nicht die libraw, sondern hast was eigenes geschrieben, das ich aber nicht kapiere (debayer()).
Fängt schon an mit einer Schleife, die nie durchlaufen wird, weil die Bedingung davor immer false liefert, weil da Konstanten mit Konstanten verglichen werden (debayer()#L200)

Theli benutzt den PPG Algorithmus zum debayern, urspruenglich von Chuan-Kai Lin entwickelt und in 'dcraw' implementiert, welches dann in 'libraw' aufgegangen ist. Carsten Moos (hier im Forum) hatte das fuer THELI v2 implementiert, Wir hatten damals eine lange Reihe Tests gemacht, um fuer Astrofotos herauszufinden, welche Vorgehensweise das beste S/N und kompakteste PSF bringt, ohne Artefakte zu erzeugen. Nicht alles was in der debayer() Funktion drinsteht wird auch durchlaufen, manches waren nur tests, um z.B. zu sehen, ob eine adaptive Renormierung der Pixelwerte Vorteile gegenueber konstanten Werten bringt. Den betreffenden code haben wir dann nicht unbedingt wieder rausgeschmissen, sondern einfach dringelassen, fuer den Fall der Faelle dass wir ihn doch wieder haben wollen. Aber das ist etwa 12 Jahre her und ich kann mich an die details nicht mehr erinnern.

Und nein, du bist nicht der erste der THELI v3 mit DSLR Daten testet

mischa

[spiegelei]

Hi Mischa,
habe grade die Version von heute getestet.

Beim Combine Narrowband/Broadband kommt immer noch beim Estimate flux ratio

Code: Alles auswählen

Detecting sources in HA ...
Detecting sources in Red ...
Matching broadband and narrowband catalogs ...
ERROR: No objects detected in Red !
ERROR: No objects detected in HA !
Done.


Kann aber auch an den Daten liegen. Zusammengerechnet werden die Daten aber, das HARed-fits wird erzeugt.

Er findet nun die G2-Referenzen - prima, aber leider nicht jedes mal (beim selben Datensatz), da muss man theli ein paar mal neu starten, dass das klappt.

Bei "Estimate background level" fehlt immer noch der Name der HARed-Kombi in der Tabelle. An dieser Stelle vielleicht ein Wunsch - könntest Du dem iView-Fenster noch einen Close oder O.K.- Button spendieren?

Dann bei create tiffs - Speicherzugriffsfehler. Ich habe dann das theli-build von voriger Woche gestartet - create tiffs o.k. Dann wieder das aktuelle theli - create tiffs o.k. Das scheint mal so und mal so zu sein. Deswegen bin ich wahrscheinlich auch mit der libtiff so ins Schleudern geraten....

Wenn ich im Photometric.. DIalog auf den Abort-Button klicke stürzt Theli nicht mehr "sichtbar" ab, aber anschließend reagieren die Theli-Fenster nicht mehr.

Das waren mal schnell die Testresultate der letzten 20 min.

Weiteres später

Gruß
Karsten

Nachtrag: Das Finden der G2-References ist willkürlich, trotz exakt gleicher Schritte. Auch die Abstürze bei Create Tiffs sind bislang nicht wirklich reproduzierbar. Was mir noch aufgefallen ist - wenn ich mehrmals auf Calibrate klicke meldet er für jeden Kanal nur noch "1 sources found", beim ersten Durchlauf sind es mehrere tausend.... Wenn das auftritt fällt Theli auf Average White zurück und dann kriege ich (manchmal) auch ein grünes Bild in iView weil die Rot- und Blau-Faktoren daneben sind. Die beiden Schieberegler für Rot und Blau sind bei mir übrigens ohne Funktion.

colorcalibration5.png