Astrometrie funktioniert nicht mehr

[Knickohr]

Leichter gesagt, als getan.

Das doofe Ding bleibt mir beim CPU-Throttling hängen

It appears you have cpu throttling enabled, which makes timings
unreliable and an ATLAS install nonsensical. Aborting.

*grrr*

Thomas

[Knickohr]

Goil !

root@theli:~# /usr/local/bin/scamp

SCAMP version 1.12.2 (2012-03-31)

Written by Emmanuel BERTIN <bertin@iap.fr>
Copyright 2010-2012 IAP/CNRS/UPMC

visit http://astromatic.net/software/scamp

SCAMP comes with ABSOLUTELY NO WARRANTY
You may redistribute copies of SCAMP
under the terms of the GNU General Public License.

> SYNTAX: scamp catalog1 [catalog2,...][@catalog_list1 [@catalog_list2 ...]]
[-c <config_file>][-<keyword> <value>]
> to dump a default configuration file: SCAMP -d
> to dump a default extended configuration file: SCAMP -dd

Jetzt muß ich das nur noch kopieren und hoffen das alles funzt

root@theli:~# cp /usr/local/bin/scamp /home/theli/THELI/theli-1.6.1/bin/Linux_64/
root@theli:~# Abgemeldet
theli@theli:~$ scamp

SCAMP version 1.12.2 (2012-03-31)

HowTo hier :
viewtopic.php?f=13&t=237

Thomas

[Knickohr]

Ähmmm, Jungs ...

Habs eben mal vorsichtshalber an einem Pointing ausprobiert. Es läuft alles schön durch, scamp ist auch richtig schnell, aber

ICH MÖCHTE MEINE PLOTS WIEDER HABEN

Kein Fehler, Theli tut so, als ob alles OK ist. Nur vermisse ich in dem plots-Ordner die Plots Das log und die xml ist vorhanden.

Thomas

[Knickohr]

OK,

Nadel aus dem Arm, Drogenberater wechseln

Hilf Dir selbst, dann hilft Dir Gott !

mischa hat es oben ja schon angedeutet mit dem PLPlot. Nachdem aber das make ohne Probleme durchgelaufen ist, dachte ich es wäre auch OK. Aber halt, nach nochmaligem genauen schauen :

checking PLPlot configure options... yes
checking for PLPlot pkg-config info... no
checking plplot.h usability... no
checking plplot.h presence... no
checking for plplot.h... no
checking plplot/plplot.h usability... no
checking plplot/plplot.h presence... no
checking for plplot/plplot.h... no
checking for c_plinit in -lplplotd... no
configure: WARNING: PLPlot library not found/incomplete! Plotting deactivated.

*grrr*

Was mache ich jetzt ? Nun gut, das Ubuntu Software-Center aufgerufen und das Paket libplplot-dev nachinstalliert und nochmal neu compiliert.

Super, jetzt funzt es. Die Plots sehen zwar ein klein wenig anders aus, aber das ist nur Firlefanz.

Danke Jungs

Thomas

[Knickohr]

Schade !

scamp schafft es wieder nicht :

Apr 1 00:04:25 theli kernel: [266419.310852] scamp[9385]: segfault at 7f7518942a50 ip 00000000005de670 sp 00007f83139f1b90 error 4 in scamp[400000+1fd000]
Apr 1 00:04:25 theli kernel: [266419.310989] scamp[9382]: segfault at 7f743349b730 ip 00000000005de670 sp 00007f82e260ab90 error 4 in scamp[400000+1fd000]

Obs der gleiche Fehler ist, oder jetzt ein anderer, kann ich nicht beurteilen. Es ist wieder error 4. Und dabei hat es so schon angefangen ...

Thomas

[TorstenK]

Hi Thomas,

ich habe mir die Sache nochmal angeschaut und es sieht so aus, als ob ATLAS auch allenthalben mit "int" arbeitet, also das selbe Problem hat. Im Changelog von Scamp habe ich dann im weiteren folgenden Hinweis gefunden:

"Added support for the INTEL MKL library in place of ATLAS and FFTW (configure --enable-mkl option) to solve the problem with large astrometric solutions."

E.B. ist also anscheinend deshalb zu INTEL MKL übergegangen. Für das "configure --enable-mkl" muss man aber wohl noch einiges installieren (ev. Intel Compiler?). Melde mich wieder, sobald ich mehr weiss...

Torsten

[Knickohr]

Hi,

nun ja, sagen wir mal so. Diesmal ging es bis 54GB. Wie viele FIles das sind, weiß ich jetzt nicht. Aber egal, scamp ist wesentlich schneller geworden, die Prozessoren (ich hab 12) werden effizienter ausgelastet. Die Lösung, bzw. der Fehler war nach 30min da, wo das alte scamp noch 2 Stunden für gebraucht hat. Einziger Wermutstropfen, das Plotting ist richtig langsam geworden. Hier wird offensichtlich nur noch ein Prozessor verwendet, was die Sache nicht gerade beschleunigt. Aber man soll nicht meckern. Noch etwas habe ich bemerkt. scamp scheint die astrometische Lösung jetzt besser und genauer hin zu bekommen. Wo ich bei einigen Pointings noch Überlappungsprobleme hatte, sind diese jetzt wie weggeblasen

Ist es das ?
Revolution mkl

Nöö ! isses nicht
Intel will dafür 400 Dollarlala haben *grrr*

Jetzt stelle ich mir auch die Frage, ob EB das swarp auch schon von seiner 2GB-Klammer befreit hat ? Dann würde das bedeuten, das wir Riesenpanoramen machen könnten

Es bleibt spannend !

Thomas

[TorstenK]

Hi Thomas,

kostenpflichtig sind nur die Windows-Varianten der Intel-Tools, Linux ist umsonst. Lizenzbedingungen habe ich mir nicht so genau angeschaut, möglicherweise darf man nichts kommerzielles damit erstellen, aber das machen wir ja nicht.

http://software.intel.com/en-us/article ... -download/ (C++ Composer XE 2011 for Linux)

Inzwischen habe ich das installiert und man braucht es tatsächlich um scamp mit der Option für grosse Lösungen zu kompilieren. Da musst du jetzt auch noch durch...

Was swarp angeht: Ich habe schon coadds größer 2gb erzeugt. Da dürfte erst mal kein Problem liegen.

Zum Speicherbedarf von scamp: Der wächst exponentiell mit der Kataloggröße, da hast du mit deiner brute force Methode (immer mehr RAM in die Kiste stecken) natürlich ein Problem. Wieviele Dateien hast du denn jetzt und wie viele werden's im Endzustand ca. sein?

Torsten

[Knickohr]

Hi.

Reichen da nicht nur die Libraries ? (Intel® Math Kernel Library (Intel® MKL) for Linux)

OK, werde das mal downloaden und hoffen, das ich es hin bekomme

Bis jetzt funzt das mit swarp bei mir noch nicht. Oder haste das auch neu compiliert ? Ich muß allerdings gestehen, ich habe es nicht mehr weiter probiert. Wobei, swarp scheint nicht das Problem zu sein, es ist das "create colour picture". Sorry, da hat ja swarp nix mit zu tun.

Tja, was soll ich denn machen, außer Speicher rein stecken. Wenn ich es nach Kanäle unterteile, dann bekomme ich die Farben nicht mehr aufeinander. Wobei, vielleicht klappts ja mit dem neuen scamp mit den Farben. Wir werden sehen. Momentan sind es 4200 Dateien, 75 Pointings. Ich denke, es werden schon nochmal 500 bis 1000 Dateien werden. So 2/3 hab ich jetzt. Allerdings kann man optimieren. Man könnte z.B bei den Pointings mit vielen Aufnahmen die schlechtesten weg lassen, auch kann man sicher das eine oder andere Pointing verwerfen, da sie teilweise mit mehr als 50% überlappen. Aber das sind Optionen, die ich mir noch aufheben werde.

Thomas

[TorstenK]

Hi Thomas,

- Du brauchst den Intel-Compiler, Libs reichen nicht.
- Wenn du schon 2/3 hast, dann kommst du mit deiner Methode wohl über die Runden.
- Alternativ könntest du ja erst alle Pointings einzeln stacken und dann in einem zweiten Schritt diese Stacks scampen und zusammentackern. Der RAM-Bedarf wäre dramatisch geringer. Ich vermute, der Kollege dort hat es so gemacht (lese ich zumindest zwischen den Zeilen):

http://skysurvey.org/

Torsten

[Knickohr]

Schon bemerkt

Mahhh ! 750MB mal so schnell downloaden ...

Die Idee mit den einzelnen Pointings sollte klappen. Dieser Variante ist vielleicht besser als meine Idee, zum Schluß die 3 Farbkanäle nochmal zu scampen, falls sie nicht genau übereinander liegen. Ich würde es aber trotzdem gerne alles auf einmal machen, weil ich mir einbilde, das dies die sauberste Lösung wird und somit eventuelle Störungen (Verzerrung, Lichtverschmutzung, ...) in den einzelnen Bildern besser korrigiert werden. Lasse mich aber da gerne eines besseren belehren. Da ich von jedem Pointing unterschiedliche Anzahl von Aufnahmen habe, meine ich, Theli würde das entsprechend gewichten.

Das der Speicherbedarf exorbitant wächst, habe ich schon ganz zu Anfang bemerkt. Aber auch jetzt, 1400 Files pro Kanal benötigen "nur" 7GB, bei allen zusammen (4200 Files) geht das schon auf 54GB. Ich will hoffen, das es mit 6000-7000 Files auch noch geht. Mein Board verkraftet 128GB RAM, allerdings gibt es diese 16GB-Module wohl erst gegen Ende des Jahres und die sind dann sicher schweineteuer ! Nun gut, mit Compressed RAM kann ich mir ein wenig über die Runden helfen, so das aus den momentan 64GB ca. 100GB werden.

Auch AM hat das schon hinter sich. Er verwendete aber "nur" 3000 Bilder, hatte so wohl nie ein Problem mit scamp.

Thomas

[TorstenK]

Hm, ich hatte gedacht, du hast schon 128 GB.

[mischa]

thomas,

du scampst ja die einzelnen pointings und aktualisierst den FITS header, bevor du alle zusammenwirfst, oder?
in diesem fall GLAUBE ICH kannst du im scamp.conf "MATCH" auf "N" setzen. da wird dann kein matching mehr mit
dem gesamten katalog versucht, sondern die vorhandene loesung null-ter ordnung (pixelscale, rotation, offset) als
richtig angenommen, und nur die distortion neu bestimmt (laut scamp manual, kapitel 6.7).

eventuell reduziert das deinen speicherbedarf, und macht die sache schneller.

zur dauer der plots erstellung: das ist kein problem von scamp, sondern von der plplot library, die extrem ineffizient und langsam ist.
stand zumindest mal im astromatic-forum, weil sich leute darueber beschwert haben.

mischa

[Knickohr]

Hmmm,

ich komme nicht weiter. Irgendwas fehlt oder wird nicht gefunden :

root@theli:/home/theli/trunk.r283# ./configure --enable-threads --enable-mkl --enable-icc
checking for a BSD-compatible install... /usr/bin/install -c
checking whether build environment is sane... yes
checking for a thread-safe mkdir -p... /bin/mkdir -p
checking for gawk... gawk
checking whether make sets $(MAKE)... yes
******** Configuring: scamp 1.12.2 (2012-04-01) ********
checking if compilation flags should be set automatically... no
checking whether we should use the INTEL compiler... yes
checking whether we should use INTEL's MKL... yes
checking for style of include used by make... GNU
checking for gcc... icc
checking whether the C compiler works... no
configure: error: in `/home/theli/trunk.r283':
configure: error: C compiler cannot create executables
See `config.log' for more details

zuvor hab ich noch das hier gemacht :

source /root/bin/compilervars.sh intel64

Sieht so aus, als ob der C-Compiler nicht gefunden wird. Vielleicht habe ich auch ein Parameter vergessen ?

Thomas

[Knickohr]

Uahhh !

Hausgemachtes Problem

Ich habe von irgendeiner vorherigen Version (der nur Library) noch was übrig gehabt und das war anscheinend falsch gelinkt. Egal, nachdem ich alles gelöscht und das richtige compilervars.sh aufgerufen habe, funzt es jetzt endlich. Hat mich 2 Stunden gekostet die Aktion.

Ach ja, das compilervars.sh sollte man auch noch in die .bashrc machen, sonst fehlt der Pfad und scamp läuft nicht.

scamp scheint zu laufen, habs mit einem Pointing ausprobiert. Nun kopiere und verlinke ich gerade die Kataloge und Images in ein Testverzeichnis und lasse es laufen. Hoffentlich klappts diesmal.

mischa, das mit der Option MATCH probiere ich dann auch mal aus. Ich weiß, das das Problem plplot ist, stand ja so irgendwo in einem Beitrag im AstrOmatic-Forum

Ehrlich gesagt, hab ich jetzt die Schnauze voll vom Compilieren

Thomas