Installation Theli v3 in Ubuntu 20.04

Linux (Theli bezogen), Theli, GUI und Hilfsprogramme.

Installation Theli v3 in Ubuntu 20.04

Beitragvon bocca » Sonntag 8. März 2020, 06:30

Hallo Mischa,
alle Hochachtung an das neue THELI v3. Da steckt echt viel Arbeit drin.

Ich mußte aus Hardwaregründen bereits Ubuntu 20.04 nehmen und habe dort THELI v3 installiert.

Die Installation lief gut, wie in INSTALL beschrieben. Außer ein paar Anpassungen wegen Ubuntu 20.04 und einer nötigen Nachinstallation von libraw-dev war es problemlos.

Trotzdem sind einige Fragen aufgekommen.

1. Ist eine Migration auf Python3 geplant ?
2. THELI stürzt trotzdem noch sehr häufig ab. Würde es Dir helfen, wann ich die Abstürze dokumentiere und ggf. LOGs zusende ? Wenn ja, welche LOG Dateien brauchst Du ?
3. @alle : Besteht Interesse, daß ich die Installation detailliert beschreibe ? Vor allem die Installation von swarp , scamp v2.7 , sextractor v2.19 , vizquery.py und sesame ?
4. Gibt es schon eine aktualisierte Dokumentation von THELI v3 ?

Vielen Dank und Viele Grüße,
Kay
bocca
 
Beiträge: 44
Registriert: Samstag 22. Oktober 2011, 05:45

Re: Installation Theli v3 in Ubuntu 20.04

Beitragvon spiegelei » Sonntag 8. März 2020, 20:45

Hallo Kay,

Installationsbeschreibung ist immer gut ;) Ich habe einen Großteil des Wochenendes damit zugebracht, die V3 unter Suse zum Laufen zu bringen.
Das mit den Abstürzen ist bei mir auch, dafür ist es ja auch noch beta.

Gruß
Karsten
Atik 383 - AP80/560 - GSO RC 8" - LX50 8" SC - TSAPO65Q - CGEM
Theli 3 - SUSE Leap 15.1/64 - Dual XEON 12K/24T - 32GB
Die meisten großen Erfindungen beginnen nicht mit "HEUREKA" sondern mit "Das ist aber komisch....."
Benutzeravatar
spiegelei
 
Beiträge: 197
Registriert: Donnerstag 29. September 2011, 15:15
Wohnort: Chemnitz

Re: Installation Theli v3 in Ubuntu 20.04

Beitragvon bocca » Montag 9. März 2020, 20:25

Hallo Karsten,

OK, dann schreibe ich mal eine Installationsanleitung.
Viele Grüße,
Kay.
bocca
 
Beiträge: 44
Registriert: Samstag 22. Oktober 2011, 05:45

Re: Installation Theli v3 in Ubuntu 20.04

Beitragvon bocca » Mittwoch 11. März 2020, 20:55

1. Aktualisieren der Installation:

sudo apt-get update

sudo apt-get upgrade

2. Installation der notwendigen Pakete

Hinweis: Seit Ubuntu 20.04 wird python durch python2 ersetzt !!!


sudo apt install g++ build-essential autotools-dev python2 python-requests libfftw3-dev libtiff-dev curl libcurl4 libcurl4-gnutls-dev qt5-default qt5-qmake libgsl-dev libatlas-base-dev libblas-dev libplplot-dev libcfitsio-dev libwcstools-dev wcslib-dev liblapack-dev git libraw-dev

3. symbolischen Link für python setzen

sudo ln -s /usr/bin/python2 /usr/bin/python



Download und Installation von:
swarp v2.38 https://www.astromatic.net/software/swarp
scamp v2.7 https://github.com/astromatic/scamp
sextractor v2.19 https://www.astromatic.net/software/sextractor
vizquery.py http://cds.u-strasbg.fr/resources/doku.php?id=cdsclient
sesame http://cdsarc.u-strasbg.fr/ftp/pub/sw/cdsclient.tar.gz


4. Swarp Installation:

Download der Source : https://www.astromatic.net/download/swa ... 8.0.tar.gz

Entpacken mit: tar -xzf swarp-2.38.0.tar.gz

Kompilieren des Paketes:

1. ins entpackte Verzeichnis wechseln
'cd swarp-2.38.0'
2. eingeben von
'./configure' um die Paketkonfiguration zu starten
3. Kompilieren starten mit
'make'
4. Installation mit
'sudo make install'


-------------------------------------------------------------------
5. scamp Installation

Herunterladen der Version 2.7.8: https://github.com/astromatic/scamp/tree/v2.7.8
Auswahl: download zip from git

1. entpacken mit:
unzip scamp-2.7.8.zip
2. ins entpackte Verzeichnis wechseln
'cd scamp-2.7.8'
3. Konfiguration starten mit:
'sh autogen.sh'
4. Dabei wird ein configure Script erzeugt, welches gestartet wird:
'./configure'
5. Kompilieren starten
'make -j'
6. Installation mit
'sudo make install'

----------------------------------------------------------------
6. sextractor v2.19 Installation

Herunterladen von sextractor 2.19 von
https://www.astromatic.net/download/sex ... 9.5.tar.gz

1. entpacken mit:
'tar -xzf sextractor-2.19.5.tar.gz'
2. ins entpackte Verzeichnis wechseln:
'cd sextractor-2.19.5'
3. starten von:
'./configure'
4. Kompilieren starten:
'make'
5 Installation mit:
'sudo make install'



--------------------------------------------------------------
7. Installation von vizquery.py

Download der Installationsdatei von http://cds.u-strasbg.fr/resources/doku.php?id=cdsclient

Hinweis: Ich habe die Installationsdatei im Home Verzeichnis gespeichert. Nach dem entpacken entsteht dann ein neuer Ordner
'python-cdsclient' der im pfad aufgenommen werden muß.

1. entpacken mit:
'tar -xzvf python-cdsclient.tar.gz'
2. ins neu entstandene Verzeichnis wechseln
'cd python-cdsclient'
3. Test:
'./find_2mass.py -h'



--------------------------------------------------------------
8. Installation von sesame

Download der Installationsdatei von http://cdsarc.u-strasbg.fr/ftp/pub/sw/cdsclient.tar.gz

Hinweis: Ich habe die Installationsdatei im Home Verzeichnis gespeichert. Nach dem entpacken entsteht dann ein neuer Ordner
'cdsclient-3.84' der im pfad aufgenommen werden muß.

1. entpacken mit
'tar -xzvf cdsclient.tar.gz'

------------

9. Installation von THELI

1. herunterladen der Source:
'git clone https://github.com/schirmermischa/THELI.git'

2. THELIDIR in bashrc setzen:
editieren der Datei ./bashrc
folgende Zeile hinzufügen (den korrekten eigenen Pfad benutzen):
export THELIDIR=/home/<user>/Software/theli/THELI

3. ins Source Verzeichnis wechslen:
'cd /home/<user>/Software/theli/THELI/src'

4. 'qmake -o Makefile THELI.pro'

5. In UBUNTU 20.04 war es nötig in THELI.pro folgende Anpassung vorzunehmen:


die Zeile: INCLUDEPATH += /usr/local/include/wcslib-6.4/

wird zu: INCLUDEPATH += /usr/include/wcslib-7.1/

6. Übersetzen mit: für # die Anzahl der Prozessoren eingeben
'make -j #'



Anpassen der Pfadvariable in der .bashrc:
Hinzufügen folgender Zeile: (bitte Pfad anpassen)

export PATH="$PATH":/home/<user>/cdsclient-3.84:/home/<user>/python-cdsclient:/home/<user>/Software/theli/THELI/src

Jetzt entweder Ab- und Anmelden oder
'source ~/.bashrc' eingeben, umn die Änderungen in der .bashrc zu aktivieren.

Jetzt kann theli von der Kommandozeile gestartet werden.

Bei Fragen oder Verbesserungen bitte einfach melden.
Viele Grüße,
Kay
bocca
 
Beiträge: 44
Registriert: Samstag 22. Oktober 2011, 05:45

Re: Installation Theli v3 in Ubuntu 20.04

Beitragvon spiegelei » Donnerstag 12. März 2020, 08:16

Hallo Kay,
Danke für die Mühen.

Zu ergänzen wäre evtl. für die Punkte 4-6, dass hier bei ./configure das Installationsverzeichnis vorgegeben werden kann (damit man das mal wiederfindet),
also z.B.
./configure --prefix=/usr/local

oder

./configure --prefix=/usr

Gruß
Karsten
Atik 383 - AP80/560 - GSO RC 8" - LX50 8" SC - TSAPO65Q - CGEM
Theli 3 - SUSE Leap 15.1/64 - Dual XEON 12K/24T - 32GB
Die meisten großen Erfindungen beginnen nicht mit "HEUREKA" sondern mit "Das ist aber komisch....."
Benutzeravatar
spiegelei
 
Beiträge: 197
Registriert: Donnerstag 29. September 2011, 15:15
Wohnort: Chemnitz

Re: Installation Theli v3 in Ubuntu 20.04

Beitragvon bocca » Donnerstag 12. März 2020, 22:28

Hallo Karsten,

der Standard Install Pfad ist für samp, swarp und sextractor '/usr/local/bin/' .

Falls es jemand sucht ;-).

Viele Grüße,
Kay
bocca
 
Beiträge: 44
Registriert: Samstag 22. Oktober 2011, 05:45

Re: Installation Theli v3 in Ubuntu 20.04

Beitragvon mischa » Freitag 13. März 2020, 10:27

Hallo,

danke fuer's Zusammenstellen der Installationsdetails. Ich moechte an dieser Stelle nochmal erwaehnen, dass es fuer THELI v3 ein vorkonfiguriertes Debian-Paket geben wird (unter https://blends.debian.org/astro/tasks/), mit dem die meisten Abhaengigkeiten automatisch geloest werden koennen. Die Zusage habe ich hierfuer bereits, aber ich muss die Zeit finden, es auch zu tun.

Falls sich von euch jemand mit debian packaging auskennt, dann koennt ihr euch gerne bei mir melden. Schwierig ist es nicht, aber es braucht Zeit.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Installation Theli v3 in Ubuntu 20.04

Beitragvon bocca » Samstag 14. März 2020, 23:24

Hallo Mischa,

ich habe zwar noch nie offizielle Debian Packages gebaut, aber ich würde Dich gern unterstützen.
Nach kurzem googeln habe ich gesehen, daß es viele Tutorials gibt, da kann man sich sicher daran orientieren.

Sicher hast Du schon eine grobe Marschrichtung, die können wir ja mal abstimmen.
Viele Grüße,
Kay.
bocca
 
Beiträge: 44
Registriert: Samstag 22. Oktober 2011, 05:45

Re: Installation Theli v3 in Ubuntu 20.04

Beitragvon mischa » Sonntag 15. März 2020, 19:33

Hallo Kay,

eine grobe Marschrichtung habe ich nicht. Ich wuerde mich genauso wie du an den Tutorials entlang hangeln. Falls du das angehen wuerdest, waere ich sehr erfreut! Alles weitere am besten per email, an "schirmer[at]mpia.de"

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Release candidate 1

Beitragvon mischa » Dienstag 24. März 2020, 15:23

Hallo,

ich habe die letzten Tage eine ganze Reihe Abstuerze ausgemerzt. Die neue Version laeuft nun deutlich stabiler und wird der erste release werden, ausser ihr findet in den naechsten Tagen noch weitere bugs. Der release candidate 1 ist ueber den normalen Download link erreichbar:

https://github.com/schirmermischa/THELI

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Installation Theli v3 in Ubuntu 20.04

Beitragvon astrofoto.harz » Mittwoch 1. April 2020, 05:43

Hallo Mischa -
zunächst möchte ich Dir erst einmal für Dein wirklich hervorragendes Engagement für Deine Theli-Community danken.
Ich habe Theli v3 RC1 schon seit ein paar Tagen in der Mangel und finde folgende reproduzierbare Probleme:

OS: Linux Mint 19.3 Tricia
- Die Aktivierung von mehr als einem Core verursacht Abstürze, also teste ich im Moment nur mit einem Core.
- Ich habe ein Projekt mit 50 Bias, 80 Dark, 250 Luminanz Frames (Kamera QSI660, 12MB fit Datei). Die Fit Dateien benenne ich vor der Bearbeitung mit Theli in *.fits um.
- 1. Schritt , erzeugen der PDU Frames: Bias, Dark läuft durch, alles ok. Luminanz: Ab dem 169. Frame fängt Theli an langsamer zu werden, ab dem 175. Frame stockt das gesamte Betriebssystem für Minuten, ohne dass volle CPU Last erkennbar wäre, dann beendet sich Theli.
Vielleicht reicht die Info schon für Dich, um das nachzuvollziehen. Ansonsten könnte ich auch eine Debug-Version bauen und den coredump auswerten, wenn Du mehr Infos brauchst.

Grüsse aus dem Seuchenland, Olaf
astrofoto.harz
 
Beiträge: 11
Registriert: Mittwoch 13. April 2016, 10:57

Re: Installation Theli v3 in Ubuntu 20.04

Beitragvon astrofoto.harz » Mittwoch 1. April 2020, 11:56

Das gleiche Fehlerbild besteht mit einer VM + Ubuntu 19.0.
Der Task ist übrigens der "Calibration Task/HDU reformatting" - ich hatte es im vorangegangenen Post falsch beschrieben.

CS, Olaf
astrofoto.harz
 
Beiträge: 11
Registriert: Mittwoch 13. April 2016, 10:57

Re: Installation Theli v3 in Ubuntu 20.04

Beitragvon mischa » Mittwoch 1. April 2020, 15:50

Hi Olaf,

(1) bei welchen Schritten stuerzt THELI ab wenn du mehr als einen Core benutzt?

(2) Die Rohdaten musst du nicht umbenennen.

(3) Wie viel RAM hast du? Wie hoch ist die RAM Anzeige (oben rechts)?

THELI v3 behaelt so viel im Speicher wie moeglich bevor etwas als FITS Datei auf Platte geschrieben wird. Das sollte automatisch passieren und auch in der Speicheranzeige sichtbar sein. THELI reduziert auch automatisch die Anzahl CPUs falls es einen solchen Zustand registriert.

In den Einstellungen (das 'gears' Symbol oben links) kannst du angeben, dass FITS Dateien immer sofort rausgeschrieben werden muessen. Auch kannst du weiter unten im Abschnitt ueber RAM angeben, dass nur minimaler RAM benutzt werden soll. Das erhoeht den disk I/O overhead dann erheblich, vor allem wenn du keine SSD hast.

Im Grunde aber sollte dem System nicht die Luft ausgehen. Da meine Maschine 64 GB RAM hat, kann es ein, dass ich da an der einen oder anderen Stelle was uebersehen habe. In den Einstellungen bzgl. RAM kann man auch eine Obergrenze angeben. Das habe ich hauptsaechlich fuer mich zum testen gemacht. Selbst mit 512 MB kann ich sehr grosse Datensaetze reduzieren.

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Installation Theli v3 in Ubuntu 20.04

Beitragvon mischa » Mittwoch 1. April 2020, 15:54

Nur um spezifisch zu sein: Die Verlangsamung passiert bereits beim ersten Schritt ("HDU reformat"), oder erst spaeter?

Kannst du mal mit 'top' in der Kommandozeile schauen, wie gross der vom betriebssystem erkannte Speicherbedarf ist, wenn die Verlangsamung eintritt?

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Re: Installation Theli v3 in Ubuntu 20.04

Beitragvon mischa » Mittwoch 1. April 2020, 16:24

Hi Olaf,

tatsaechlich, ich habe beim HDU reformatting den Speicher nach Gebrauch nicht explizit freigegeben.
Kannst du bitte den neuesten snapshot aus dem repository ziehen und es damit nochmal versuchen?

mischa
mischa
Moderator
 
Beiträge: 1266
Registriert: Freitag 7. Oktober 2011, 14:07
Wohnort: Chile

Nächste

Zurück zu Installation

Wer ist online?

Mitglieder in diesem Forum: 0 Mitglieder und 2 Gäste

cron