VISTA Daten

[Stefan]

Hi

Ich wollte mal versuchen wie gut sich THELI mit VISTA Daten macht und im Allgemeinen denke ich, dass man damit sehr gute Resultate erzielen kann. Ich habe jedoch ein Problem beim Cross-Match vom Katalog zu den Bildern. Ich habe schon sehr viele Coadds mit THELI erstellt und aus Erfahrung kann ich sagen, dass der Overlap zwischen der source detection und dem Katalog grundsätzlich sehr gut ist und ich habe auch genügend Sterne (~200 pro Chip). Auch wenn ich an den Parametern wie wild herumdrehe, bekomme ich keinen perfekten Match in den äußeren Bereichen. Am besten sieht man das in den angehängten Plots. Hat einer von euch eine Idee wo ich herumschrauben muss, damit der Match passt?

danke für jede Hilfe
liebe Grüße

[mischa]

Hi Stefan,

welche Einstellungen hast du denn fuer Scamp verwendet?
Der fgroups plot wird vor Anwendung der Distortion erstellt, da kann es vorkommen, dass in den Aussenbereichen scheinbar kein matching vorliegt. Das ist also nicht aussagekraeftig, sondern nur Kosmetik. Um das zu korrigieren, muesstest du lediglich den cross-id radius erhoehen. Das kann dir aber evtl. andere Dinge durcheinander bringen. Viel interessanter sind die astr_[int|ref]error plots.

Mischa

[Stefan]

Hi

Danke für die rasche Antwort. Ich habe einen halbwegs anständigen Match zusammengebracht indem ich wie vorgeschlagen den cross-id radius erhöht habe, aber der Fit stimmt immer noch nicht wenn ich mir das finale Bild anschaue und mit der casu Pipeline vergleiche. Da fehlt es noch um einige Bogensekunden.

Ich hänge mal alle plots an diesen und den nächste Post...

[Stefan]

Und hier noch der Rest

[mischa]

Hi Stefan,

am astr_referror1d kannst du sehen, dass die rms viel zu gross ist. Das sollte sich im Bereich von 0.1-0.3 Bogensekunden abspielen. Ich empfehle dir, den 2MASS als Referenzkatalog zu nehmen. Eventuell mal die Katalogtiefe aendern, sowie die Detection thresholds erniedrigen so dass du mehr Sterne bekommst (oder auch weniger).

Welche anderen Scamp Einstellungen hast du verwendet bzw. ausprobiert? Welche Theli-Version verwendest du etc etc?

mischa

[Stefan]

Hi Mischa

Ich verwende bereits 2MASS, da ich hier im J/Ks Band bin und ich verwende bereits alle Sterne im Katalog (Limit = 20), da die VISTA Aufnahmen tiefer gehen. Ich hab die Detection Einstellungen so vorgenommen, dass in etwa alle 2MASS Sterne auch auf den Bildern mit SExtractor gefunden werden. Ich verwende die neueste Theli Version (grade gestern neu installiert) und im Anhang findest du meine Scamp Einstellungen.

Ich weiß aus einem Vergleich mit dem Katalog, dass die WCS Parameter der raw Aufnahmen eigentlich schon recht gut sind, es fehlen eigentlich nur ein paar Bogensekunden und die ganze Distortion muss natürlich auch erst raus. Wenn ich den cross-id radius niedriger einstelle, bekomme ich an den Rändern wesentlich weniger Matches, wenn er zu groß wird, befürchte ich, dass falsche Sterne abgeglichen werden...

[mischa]

Hi,

kann sein dass die meisten 2mass Quellen in den Bildern gesaettigt sind. Daher muesstest du unter create source cat -> config den max flag parameter auf 8 setzen.

Wichtiger sind aber deine scamp Einstellungen.
(1) Der fgroups plot wird vor der Distortion erstellt und nicht aktulaisiert. Daher ist es ok wenn die Sterne in den aeusseren Bereichen nicht so dargestellt werden wie du sie gerne haettest.
(2) Pixscale maxerr kannst du auf 1.05 runterdrehen, die ist ja bekannt.
(3) match flipped -> ausschalten, ist ebenfalls bekannt.
(4) Am wichtigsten: Mosaik-kameras werden mit Scamp folgendermassen geloest: MOSAIC_TYPE=SAME_CRVAL, focal plane = "default focal plane"
(5) Den cross-id radius wieder runterdrehen, vielleicht auf 2-3.
(6) Da du sagst, dass die originale WCS bereits recht gut ist, kannst du sicherlich POSITION_MAXERR von 1 weiter runtersetzen.

Wenn das nicht geht, dann versuch mal einen anderen Katalog, oder aender die detection thresholds und evtl max flag.

mischa

[Stefan]

ok, danke für die Hinweise. Habe mal alles so eingestellt und der Fit ist schon mal wesentlich besser als zuvor.

Was mir jetzt aufgefallen ist:

Ich habe insgesamt 18 pawprints, dh. ich habe 18 Gesamtaufnahmen die sich auf jeweils 16 Detektoren verteilen. Wenn ich nun für alle 18 Aufnahmen nur die einzelnen Detektoren hernehme passt das Resampling wunderbar und die Stern liegen übereinander. Wenn ich aber jetzt zB 2 verschiedene Aufnahmen hernehme, und von diesen 2 Detektoren, die angrenzende Bereiche aufgenommen haben, passts nicht mehr. Für jeden einzelnen Detektor bekomme ich also eine wunderbare Lösung, aber wenn ich verschiedene Detektoren aus verschiedenen Aufnahmen betrachte stimmt es nicht mehr...grrr

[mischa]

ok, danke für die Hinweise. Habe mal alles so eingestellt und der Fit ist schon mal wesentlich besser als zuvor.

Was mir jetzt aufgefallen ist:

Ich habe insgesamt 18 pawprints, dh. ich habe 18 Gesamtaufnahmen die sich auf jeweils 16 Detektoren verteilen. Wenn ich nun für alle 18 Aufnahmen nur die einzelnen Detektoren hernehme passt das Resampling wunderbar und die Stern liegen übereinander. Wenn ich aber jetzt zB 2 verschiedene Aufnahmen hernehme, und von diesen 2 Detektoren, die angrenzende Bereiche aufgenommen haben, passts nicht mehr. Für jeden einzelnen Detektor bekomme ich also eine wunderbare Lösung, aber wenn ich verschiedene Detektoren aus verschiedenen Aufnahmen betrachte stimmt es nicht mehr...grrr

Das musst du mir etwas genauer erklaeren. Was meinst du mit "einzelnen detektoren hernehmen", wie machst du da die Astrometrie? Sind die pawprints gegeneinander versetzt (die ueblichen 3 um die gaps zu fuellen)?

mischa

[Stefan]

Also, ich habe das Problem jetzt auf eine recht unkonventionelle Weise gelöst:

Mir war klar, dass die raw-WCS Infos nicht sehr gut passen können, da es sich ja um eine recht große Fokalebene handelt. Die WCS Parameter im Header geben für alle Chips gemeinsame Referenzwerte an und es wird nicht für jeden Chip einzeln ein CRVAL/CRPIX/CD_X_X gespeichert. Mein Ansatz war nun einfach für alle Chips eben diese Werte auszurechnen und somit für jeden einzelnen eine eigenständige WCS-Lösung zu berechnen. Das ist zwar nicht sehr effizient, lässt sich aber in SWarp mit 'FIX_FOCALPLANE' leicht beheben. Wenn ich es auf diese Weise mache funktioniert alles wunderbar so wie immer.

Ein Problem ist hier aber aufgetreten: Ich habe zuerst die Header der einzelenen Chips geändert (die Bilder speichert mir Theli ja einzeln ab). Wenn ich dann aber die Bilder mit den neuen WCS Parametern durch die Astrom/Photom Section laufen lasse, wird auch hier keine anständige Lösung gefunden. Ich nehme an, dass an dieser Stelle die Header der einzelnen Bilder nicht nochmal eigens gelesen werden...?!

Jedenfalls habe ich mich dann selber direkt an SExtractor/Scamp/SWarp gesetzt und damit hat es wunderbar funktioniert.

Ich hoffe das ist halbwegs verständlich für alle die vielleicht auch mal das gleiche Problem haben. Man muss nur die einzelnen Chips, die einem Theli rauskopiert hat wieder in ein Multi-Extension FITS zusammen bauen, damit SExtractor versteht, dass es sich um ein Instrument mit mehreren Chips handelt.

BTW: Wie macht das eigentlich Theli? Wenn man jeden Chip als einzelnes Bild vorliegen hat erkennt SExtractor ja nicht, dass es sich um ein einziges Instrument handelt...

liebe Grüße

[mischa]

Mir war klar, dass die raw-WCS Infos nicht sehr gut passen können, da es sich ja um eine recht große Fokalebene handelt. Die WCS Parameter im Header geben für alle Chips gemeinsame Referenzwerte an und es wird nicht für jeden Chip einzeln ein CRVAL/CRPIX/CD_X_X gespeichert. Mein Ansatz war nun einfach für alle Chips eben diese Werte auszurechnen und somit für jeden einzelnen eine eigenständige WCS-Lösung zu berechnen. Das ist zwar nicht sehr effizient, lässt sich aber in SWarp mit 'FIX_FOCALPLANE' leicht beheben. Wenn ich es auf diese Weise mache funktioniert alles wunderbar so wie immer.

Wenn du dir die originalen VISTA Daten ansiehst, dann findest du CRVAL1/2, CRPIX1/2, und die CD Matrix in jedem extension header. Probiers aus:

dfits -x "n" image.fits

wobei "n" die Nummer des jeweiligen extension headers ist, also 1...16

Diese Werte werden von THELI beim splitting in die header der einzelnen FITS uebertragen und sollten dann auch noch vorhanden sein. Kannst du das mal fuer deine Daten ueberpruefen?

Ich hoffe das ist halbwegs verständlich für alle die vielleicht auch mal das gleiche Problem haben. Man muss nur die einzelnen Chips, die einem Theli rauskopiert hat wieder in ein Multi-Extension FITS zusammen bauen, damit SExtractor versteht, dass es sich um ein Instrument mit mehreren Chips handelt.

BTW: Wie macht das eigentlich Theli? Wenn man jeden Chip als einzelnes Bild vorliegen hat erkennt SExtractor ja nicht, dass es sich um ein einziges Instrument handelt...

Im 'create source cat' Schritt werden zwei Scripte ausgefuehrt. Das zweite heisst "create_scampcats.sh" und macht nichts anderes, als die einzelnen FITS Kataloge einer Multichip-Aufnahme zu einem Katalog zusammenzusetzen, damit scamp diese entsprechend interpretieren kann.

Mischa

[Stefan]

Sorry mal für die späte Antwort

Ich habe das schon früher überprüft und Theli kopiert die WCS Parameter richtig raus. Was mich aber gewundert hat:

Ich habe dann die Header der fertig reduzierten Bilder (also bevor Create Source Cat, etc.) so abgeändert, dass für jeden einzelnen Chip der Referenzwert auf 1024/1024 umgerechnet wurde (mit xy2sky aus den WCStools). Hier habe ich einfach durch einen Vergleich mit einem Katalog (2Mass) festgestellt ob diese neuen Parameter noch halbwegs passen...und das haben sie.
Damit wollte ich nun via Scamp und "FixFocalplane" eine neune gesamte Fokalebene berechnen wobei mir Scamp einen neuen Referenzwert ausrechnet. Dies hat aber nur geklappt wenn ich selber SExtractor/Scamp ausgeführt habe und in Theli eben nicht...

Ich nehme an, dass noch irgendetwas passiert wenn die Kataloge der einzelnen Chips wieder zu einem Gesamtkatalog für eine Aufnahme zusammengeführt werden...?!

[mischa]

Hi Stefan,

Ich habe dann die Header der fertig reduzierten Bilder (also bevor Create Source Cat, etc.) so abgeändert, dass für jeden einzelnen Chip der Referenzwert auf 1024/1024 umgerechnet wurde (mit xy2sky aus den WCStools). Hier habe ich einfach durch einen Vergleich mit einem Katalog (2Mass) festgestellt ob diese neuen Parameter noch halbwegs passen...und das haben sie.
Damit wollte ich nun via Scamp und "FixFocalplane" eine neune gesamte Fokalebene berechnen wobei mir Scamp einen neuen Referenzwert ausrechnet. Dies hat aber nur geklappt wenn ich selber SExtractor/Scamp ausgeführt habe und in Theli eben nicht...

Ich nehme an, dass noch irgendetwas passiert wenn die Kataloge der einzelnen Chips wieder zu einem Gesamtkatalog für eine Aufnahme zusammengeführt werden...?!

THELI fuegt lediglich die kataloge zu einem Multi-extension FITS Katalog zusammen, ohne was an den einzelnen header-Eintraegen zu aendern. da ich nicht weiss, wie du Scamp laufen hast lassen (und mir auch selbst nicht ganz klar ist, was Scamp genau fuer verschiedene MOSAIC_TYPE Einstellungen macht), kann ich hier nicht viel Licht ins Dunkel bringen.
Das einzige, was ich dir anbieten kann, ist, dass du mir im ESO-Archiv Zugang zu deinen noch proprietaeren VISTA Daten gibst, und schau mir die Astrometrie selber an. Irgendwas machst du da noch verkehrt, oder wir uebersehen was anderes.

Mischa

[Stefan]

Hehe, es wäre zwar toll hier Unterstützung zu bekommen, aber ich kann die Daten leider nicht weiter geben weil ich selber nicht PI bin und dieser wäre damit wohl auch nicht einverstanden. Es wird wohl stimmen, dass ich hier irgendwo einen Bedienfehler eingebaut habe...

Eine Frage habe ich noch mit einem weiteren Problem bei der Datenreduktion:
Ein wichtiger Schritt bei der Bearbeitung ist, dass man die Chips auf in etwa denselben Gain bekommt. Theli macht hier nichts dergleichen ohne mein Wissen und dividiert einfach nur durch das normalisierte Flat, oder? Denn wenn ich selber nach der Reduktion die Bilder passend skaliere (auch mit den Werten, die die VISTA Leute bestimmt haben) finde ich immer noch einen signifikanten Offset inder Photometrie bei den einzelnen Chips. Ich weiß, dass es beim Superflat-Schritt einen Button gibt, der eine Funktion aktiviert wodurch Theli versucht dies auszugleichen. Ich habe aber schon im vorhergehenden Schritt eine dynamische Hintergrund Subtraktion gemacht und deswegen fällt der Superflat-Schritt bei mir aus.

[mischa]

Hehe, es wäre zwar toll hier Unterstützung zu bekommen, aber ich kann die Daten leider nicht weiter geben weil ich selber nicht PI bin und dieser wäre damit wohl auch nicht einverstanden. Es wird wohl stimmen, dass ich hier irgendwo einen Bedienfehler eingebaut habe...

Eine Frage habe ich noch mit einem weiteren Problem bei der Datenreduktion:
Ein wichtiger Schritt bei der Bearbeitung ist, dass man die Chips auf in etwa denselben Gain bekommt. Theli macht hier nichts dergleichen ohne mein Wissen und dividiert einfach nur durch das normalisierte Flat, oder? Denn wenn ich selber nach der Reduktion die Bilder passend skaliere (auch mit den Werten, die die VISTA Leute bestimmt haben) finde ich immer noch einen signifikanten Offset inder Photometrie bei den einzelnen Chips. Ich weiß, dass es beim Superflat-Schritt einen Button gibt, der eine Funktion aktiviert wodurch Theli versucht dies auszugleichen. Ich habe aber schon im vorhergehenden Schritt eine dynamische Hintergrund Subtraktion gemacht und deswegen fällt der Superflat-Schritt bei mir aus.

Die gain-Anpassung geschieht beim flat-fielding. Die chips werden zwar normiert, aber die gain-Unterschiede beibehalten, so dass sie in den geflat-fieldeten Daten verschwunden sein sollten. Evtl. solltest du mal versuchen, ein dark flat vom bright flat abzuziehen, die Testversion, die ich dir verlinkt habe, unterstuetzt das. Das kann allerdings auch in die Hose gehen, wenn die dDrk flats noch einen signifikanten Anteil an "nicht-dark" besitzen. Ich kenne das calibration program von VISTA nicht, und hab auch bisher nicht viele VISTA Daten durchlaufen lassen, daher kann ich da nicht so viel dazu sagen.

Wenn deine Aufgabe ist, die CASU pipeline mit Theli zu vergleichen, dann kannst du den PI bestimmt davon ueberzeugen, mir die Daten im Archiv offen zu legen (mein username ist SCHIRMER). Ich hab mit stellaren Geschichten und Dunkelwolken nichts zu tun und haette auch gar keine Zeit dazu, irgendwas damit zu machen

m