Автор Тема: VAST - Программа для поиска переменных на ПЗС-снимках  (Прочитано 72553 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн ctac

  • Сотрудник ФПА Ка-Дар
  • *****
  • Сообщений: 8680
  • Короткий Стас
    • ICQ клиент - 340303332
    • Yahoo клиент - astrostas83
    • Просмотр профиля
    • E-mail
 Кирилл, я буду рад, если ты поместишь тут небольшое описание своей софтины и ссылки на нее ;)

 Кстати, когда ожидается Виндовая версия? А то тут большинство пользователей сидит не по Линуксом :-[

 Стас
« Последнее редактирование: 14 февраля 2008, 12:09:39 от ctac »
Короткий Стас
 www.astroalert.su - новости!
 www.astromap.ru - Всё астрономические организации РФ и ближнего зарубежья

Оффлайн kirx

  • Активист
  • *****
  • Сообщений: 250
    • Просмотр профиля
    • E-mail
2 ctac
С радостью!  :D

Сайт программы: http://saistud.sai.msu.ru/vast/
Устаревшее русское описание: http://saistud.sai.msu.ru/vast/poisk_readme_ru.htm

Для начала хочу подчеркнуть, что программа ещё разрабатывается и самая недоделанная её часть - описание! ;) Более того, существующая версия описание уже не соответствует реальности. Надеюсь изменить эту ситуацию в самое ближайшее время.

Программа написана под linux, собирается из исходников. Для этого потребуется установить в системе:

* программу SExtractor (да, знаю, клёвое название) http://terapix.iap.fr/rubrique.php?id_rubrique=91/
* библиотеку PGplot http://www.astro.caltech.edu/~tjp/pgplot/

Установка самой программы VAST:
0. Скачиваем последнюю версию программы с сайта http://saistud.sai.msu.ru/vast/
1. Разархивируем её: "tar -xvjf vast-версия.tar.bz2"
2. Потом переходим в папку с программой: "cd vast-версия"
3. И компилируем её: "make"
После этого программа готова к работе.

Для теста можно взять например эти данные: ftp://saistud.sai.msu.ru/pub/poisk/sample_data.tar.bz2(24Мб). Разархивируем их, получаем папку с FITS картинками некоторой области неба. В коммандной строке заходим в папку программы и пишем:
"./poisk /ПУТЬ/К/ТЕСТОВЫМ/КАРТИНКАМ/*fts"
и ждём пока на экране появится график зависимости разброса звёздной величины от средней звёздной величины (в инструментальной системе, не пугайтесь цифр!). Нажав на любую точку(звезду) можно посмотреть её кривую блеска. На графике будут зелёные точечки - это кандидаты. Задача пользователя посмотреть кривые блеска всех кандидатов, отобрав настоящие переменные среди ложняков. Ложных кандидатов много - это плата за уверенность, что настоящую переменную мы не пропустим.

Любые возникающе вопросаы - не стесняйтесь, задавайте! :)

Работы над Windows версией программы пока не начаты. Основная трудность - портировать под Windows программу SExtractor.
Вероятно SExtractor+VAST заработают без особых изменений в середе CygWin, но сам я это ещё не пробовал. Если кто имеет опыт работы с CygWin - буду рад пообщаться!
Также приглашаем всех желающих принять участие в разработке! Пока к написанию этого маленького монстрика приложились четверо студентов с Астрономического Отделения физфака и ВМиК МГУ.
« Последнее редактирование: 04 мая 2006, 20:33:58 от kirx »

Оффлайн kirx

  • Активист
  • *****
  • Сообщений: 250
    • Просмотр профиля
    • E-mail
Итак, инструкция по использованию. :)
Если всё успешно установлено...
0) подготавливаем файлы, которые будем обрабатывать (например в MaxIm'е). Нужны картинки с учтённым дарком и флэтом, полученные на одном телескопе в одном фильтре, на которых изображена одна область неба. Ещё хорошо бы чтоб на картинках было не слишком мало звёзд - хотябы пара десятков.
Для теста лучше начать с серии снимков, полученных в одну ночь. Применительно к реалиям Ка-Дара - режем их на сюдюк, его вставляем в 3й компьютер. Заходим под пользователем obs, пароль как на других компах. Если не запущены Xы - пускаем командой startx
1) открываем терминал в X'ах (xterm\rxvt\любой_аналог). Переходим в папку с программой  - cd ~/vast-1.0rc6
2) запускаем программу ./poisk сообщая ей как аргументы список файлов, которые хотим обработать. Это может выглядеть например так:
./poisk /mnt/cdrom/object*fit
3) ждём какое-то время (зависит от колличества и размеров картинок и колличества звёзд на них).
4) на экране в новом окне появляется график зависимости дисперсии звёздной величины от звёздной величины (инструментальной). Не пугаемся страшных цифр. Каждая точка на графике - это одна звезда. На неё можно нажать мышкой - тогда покажется её кривая блеска.
5) нужно глазами просмотреть все звёздочки хоть чуть-чуть поднимающиеся над остальными на этом графике (если они помечены зелёным крестиком - тем лучше). И по виду кривой блеска сказать, переменка это или ложняк. Ложняков стоит остерегаться, они могут быть ну очень похожи на переменки. :) Типичные признаки ложняка: звезда на краю кадра, переползает через не исправленный дефект плоского поля, звезда двойная (а в течение ночи меняется сиинг/фокус). Самый злой признак - если можно найти другую звезду с похожей кривой блеска. ;D  Это я так пугаю, на самом деле всё это легко отсеивается, нужно только взглянуть повнимательнее.

Вот типа так прога и работает. Да, там ещё есть встроенная смотрелка фитсов - жмёшь на точку на кривой блеска - вылезает картинка из которой эта точка получена, а звёздочка отмечена красным крестиком. Если ничего не видно, жмём на h (на клаве). Выглядит жутко, но в принципе всё видно.

Успехов!

Оффлайн kirx

  • Активист
  • *****
  • Сообщений: 250
    • Просмотр профиля
    • E-mail
Мы с ребятами всё хотим довести эту программу до состояния, когда ей смогут пользоваться не только авторы.  ;)  Надеемся, в этом поможет обновлённая страничка с описанием http://saistud.sai.msu.ru/vast/ (на англ. яз.) и форум http://saistud.sai.msu.ru/vast/forum/ (с рус. и англ. разделами), предназначенный для решения проблем с её установкой и использованием. Приглашаем всех, особенно потенциальных пользователей и разработчиков! :)

Оффлайн BrainBug

  • ***
  • Сообщений: 109
  • Ростов-на-Дону
    • ICQ клиент - 428560054
    • Yahoo клиент - cerebrum_06
    • Просмотр профиля
    • Группа по поиску новых объектов
    • E-mail
...
Любые возникающе вопросаы - не стесняйтесь, задавайте! :)
...
Скачал последнюю версию СексТрактора и VAST-а... скомпилял... запустил...
Вот такая ботва творится... :(
cerebrum vast-1.0rc18 # ./vast ./test/*.fit
--==VaST 1.0rc17==--
Detection of variable objects.
excluding region - 0.000000 0.000000 0.000000 0.000000
Exclusion file was read
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 6.9 ./test/nc1491_g63_o120_120s_0.fit
JD is 2440587.500683
Looking for time of observation in START
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 6.9 ./test/nc1491_g63_o120_120s_1.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 6.8 ./test/nc1491_g63_o120_120s_2.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.8 ./test/ngc1491_g63_o120_120s_0.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.3 ./test/ngc1491_g63_o120_120s_10.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 6.8 ./test/ngc1491_g63_o120_120s_12.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 6.9 ./test/ngc1491_g63_o120_120s_13.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.1 ./test/ngc1491_g63_o120_120s_1.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.0 ./test/ngc1491_g63_o120_120s_2.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.4 ./test/ngc1491_g63_o120_120s_3.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.0 ./test/ngc1491_g63_o120_120s_4.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.0 ./test/ngc1491_g63_o120_120s_5.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.4 ./test/ngc1491_g63_o120_120s_6.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 6.9 ./test/ngc1491_g63_o120_120s_7.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 6.9 ./test/ngc1491_g63_o120_120s_8.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.2 ./test/ngc1491_g63_o120_120s_9.fit
No similar triangles
filtering...

writing files...
launch ./find_candidates
ERROR: There are no light curve files!!!
check by util/data_parser - sh: data.m_sigma: Нет такого файла или каталога
ok
ERROR: Can't open data.m_sigma!
ERROR: There are no light curve files!!!
ERROR: There are no light curve files!!!
ERROR: Can't open file "data.m_sigma"!
и есессно никаких новых окон не открывается.
Запускал рутом, терминал Rxvt v2.7.10 - released: 26 MARCH 2003. Gentoo Linux 2007.0
FITS-ы с QHY6...
Зигзагообразность моих рук или... ???
Команда ISON

Оффлайн ctac

  • Сотрудник ФПА Ка-Дар
  • *****
  • Сообщений: 8680
  • Короткий Стас
    • ICQ клиент - 340303332
    • Yahoo клиент - astrostas83
    • Просмотр профиля
    • E-mail
 Жека, сейчас будем писать Кирюхе письма, а то он уехал в Германию учить науку Астрофизику ;)
 Твой результат говорит о том, что алгоритм работы написан не легко и с пробелами в описании. Поэтому я и не люблю Linux. НО! Я его начинаю осваивать с этой недели ;)
Короткий Стас
 www.astroalert.su - новости!
 www.astromap.ru - Всё астрономические организации РФ и ближнего зарубежья

Оффлайн BrainBug

  • ***
  • Сообщений: 109
  • Ростов-на-Дону
    • ICQ клиент - 428560054
    • Yahoo клиент - cerebrum_06
    • Просмотр профиля
    • Группа по поиску новых объектов
    • E-mail
Жека, сейчас будем писать Кирюхе письма, а то он уехал в Германию учить науку Астрофизику ;)
 Твой результат говорит о том, что алгоритм работы написан не легко и с пробелами в описании. Поэтому я и не люблю Linux. НО! Я его начинаю осваивать с этой недели ;)
Ок! Ждём-с ответов....  ::)
Команда ISON

Оффлайн kirx

  • Активист
  • *****
  • Сообщений: 250
    • Просмотр профиля
    • E-mail
Всем привет! Простите, что не сразу отвечаю!

Диагноз не утешительный - пролема не понятно какая, но серьёзная. Вероятно это баг, о котором мне говорил один мой волосатый коллега, но вместо того, чтобы мне его показать - уехал в Коуровку. ;) Баг заключается в том, что в каких-то пока не установленных условиях (архитектура, версия компилятора) не работает алгоритм отождествления кадров.
Проблема наблюдалась на убунте и на генте собранной под amd64.
Своими глазами я этого бага ни разу не видел, поэтому он ещё не исправлен.
Сам я использую 32 битную Gentoo, gcc4.

BrainBug, плиз, напишите, какую систему Вы используете (дистрибутив, видимо, тоже Gentoo? Какая версия компилятора? Под какую архитектуру собрана система - 32/64 бит?). На всякий случай, стоит попробовать запустить программу на этих тестовых снимках: ftp://scan.sai.msu.ru/pub/software/vast/sample_data.tar.bz2 (24Мб) Чтобы убедиться, что это именно этот баг а не что-то другое...
Ещё, если можно, пришлите вывод vast'а запущенного с ключём -d: ./vast -d ./test/*.fit

Оффлайн BrainBug

  • ***
  • Сообщений: 109
  • Ростов-на-Дону
    • ICQ клиент - 428560054
    • Yahoo клиент - cerebrum_06
    • Просмотр профиля
    • Группа по поиску новых объектов
    • E-mail
Gentoo собрана в 32-бит варианте... Проц, если это поможет, Пень D 915.
gcc 4.1.1
СексТрактор собирал из исходников последний, какой у них лежит на сайте.
PGPLOT ставил emerge-ем...
Качаю тестовые снимки, дома попробую и отпишу о результате только вечером... На рабочей тачке всё никак руки не дойдут дособирать Gentoo... :(

Вот что выдал C-Munipack с тестовыми снимками. Мои же снимки C-Munipack отказался обрабатывать! Что может быть не так моими снимками?
Вот заголовок одного из моих кадров:
SIMPLE  = T / file does conform to FITS standard             
BITPIX  = 16 / number of bits per data pixel                 
NAXIS    = 2 / number of data axes                           
NAXIS1  = 752 / length of data axis 1                         
NAXIS2  = 582 / length of data axis 2                         
EXTEND  = T / FITS dataset may contain extensions           
COMMENT    FITS (Flexible Image Transport System) format is defined in 'Astronomy
COMMENT    and Astrophysics', volume 376, page 359; bibcode: 2001A&A...376..359H
EXPTIME = 90. / Exposure time in seconds                       
EXPOSURE = 90. / Exposure time in seconds                       
GAIN    = 63 / gain                                           
OFFSET  = 114 / offset                                         
TEC_OFF = 0 / TEC_Off                                       
HIERARCH AntiAmpGlow = 2 / AntiAmpGlow                                   
HIERARCH DeinterlaceBrightness = 1 / Fix Interlaced Brightness                 
XPIXSZ  = 6.5 / Pixel Width in microns (after binning)         
YPIXSZ  = 6.25 / Pixel Height in microns (after binning)       
HIERARCH CaptureMode = 'OneFrame' / Capture Mode                               
HIERARCH BlackBorderBrightness = 7287.942 / Black Border Brightness             
HIERARCH OddLinesBrightness = 13210.1 / Odd Lines Brightness                   
HIERARCH EvenLinesBrightness = 13121.08 / Even Lines Brightness                 
HIERARCH EvenLinesScale = 1.015261 / Even Lines Scale                           
INPUTFMT = 'FITS    ' /          Format of file from which image was read       
« Последнее редактирование: 07 февраля 2008, 13:32:39 от BrainBug »
Команда ISON

Оффлайн kirx

  • Активист
  • *****
  • Сообщений: 250
    • Просмотр профиля
    • E-mail
Gentoo собрана в 32-бит варианте... Проц, если это поможет, Пень D 915.
gcc 4.1.1
СексТрактор собирал из исходников последний, какой у них лежит на сайте.
PGPLOT ставил emerge-ем...
На такой системе VaST точно должен работать - она очень похожа на мою. :)

C-Munipack выдал всё правильно. На скриншоте отмечена катаклизмическая переменная, присутствующая в поле. Если пощёлкать по звёздам поближе к основной последовательности "разброс-яркость" - должна вылезти ещё одна эллиптическаяя переменная в этом поле.

По поводу заголовка снимков с QHY. Есть две странности, ни одна из которых на отождествление снимков повлиять не могла:
1. В заголовке отсутствует время съёмки, обычно обозначаемое ключём DATE-OBS. Должно быть что-то типа: DATE-OBS= '2004-08-01'         /YYYY-MM-DD observation start date, UT2. Ключи, начинающиеся со слова HIERARCH не соответствуют стандартному FITS-формату. Наверно это какое-то расширение...

Если дело не в баге, то снимки могли не отождествиться из-за большого количества горячих пикселей. Программа может путать их со звёздами...

Оффлайн BrainBug

  • ***
  • Сообщений: 109
  • Ростов-на-Дону
    • ICQ клиент - 428560054
    • Yahoo клиент - cerebrum_06
    • Просмотр профиля
    • Группа по поиску новых объектов
    • E-mail
Попробовал я на тестовых снимках... Та же беда! Та же ошибка!  :'(
С ключом -d тоже пробовал - ничего там полезного не нашёл...
Чё делать?
Команда ISON

Оффлайн kirx

  • Активист
  • *****
  • Сообщений: 250
    • Просмотр профиля
    • E-mail
2 BrainBug
Если есть возможность, плиз, все матюги которые васт выдаёт с тестосвыми снимками с ключём -d - в студию!

Ещё попробуйте другой снимок взять в качестве опорного, для этого его надо поставить первым в списке аргументов. Ничего страшного, если один снимок два раза будет указан...

Нужно понять, в чём разница между Вашей системой и моей. Хорошо, что у нас один дистрибутив.
Проблема в том, что я даже приблизительно не представляю себе где может быть ошибка. Блок отождествления ни на какие внешние библиотеки не полагается. Казалось бы, Си, он и в Африке Си...

Оффлайн BrainBug

  • ***
  • Сообщений: 109
  • Ростов-на-Дону
    • ICQ клиент - 428560054
    • Yahoo клиент - cerebrum_06
    • Просмотр профиля
    • Группа по поиску новых объектов
    • E-mail
Осмелюсь предположить, что собака порылась в заголовках FITS-ов...  ::)
Они на что-нить влияют во время обработки vast-ом?
И если сегодня погоды не будет, то соберу полный дебаг со всеми матюгами и выложу...
« Последнее редактирование: 12 февраля 2008, 13:21:05 от BrainBug »
Команда ISON

Оффлайн kirx

  • Активист
  • *****
  • Сообщений: 250
    • Просмотр профиля
    • E-mail
Заголовок фитса используется дважды:
* Его читает секстрактор.
* VaST из него берёт время экспозиции.

НО, загадка остаётся в любом случае! Тестовые снимки, они на то и тестовые, что программа с ними гарантировано работает! А вот теперь получается, что не всегда...

З.Ы. Вот вчера поставил васт на ноут с какой-то средней свежести SuSE. Баг не всплыл, всё работает...

Оффлайн ctac

  • Сотрудник ФПА Ка-Дар
  • *****
  • Сообщений: 8680
  • Короткий Стас
    • ICQ клиент - 340303332
    • Yahoo клиент - astrostas83
    • Просмотр профиля
    • E-mail
Попробовал я на тестовых снимках... Та же беда! Та же ошибка!  :'(
С ключом -d тоже пробовал - ничего там полезного не нашёл...
Чё делать?

 Женя, а откуда ты скачал тестовые снимки? (просто хочу удостоверится, что все говорят об одном и том же)
Короткий Стас
 www.astroalert.su - новости!
 www.astromap.ru - Всё астрономические организации РФ и ближнего зарубежья