Астрономический форум ФПА "Ка-Дар"

Тематические рабочие группы => Переменные звезды => ПО и методики => Тема начата: ctac от 04 мая 2006, 00:27:14

Название: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: ctac от 04 мая 2006, 00:27:14
 Кирилл, я буду рад, если ты поместишь тут небольшое описание своей софтины и ссылки на нее ;)

 Кстати, когда ожидается Виндовая версия? А то тут большинство пользователей сидит не по Линуксом :-[

 Стас
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: kirx от 04 мая 2006, 20:31:35
2 ctac
С радостью!  :D

Сайт программы: http://saistud.sai.msu.ru/vast/
Устаревшее русское описание: http://saistud.sai.msu.ru/vast/poisk_readme_ru.htm

Для начала хочу подчеркнуть, что программа ещё разрабатывается и самая недоделанная её часть - описание! ;) Более того, существующая версия описание уже не соответствует реальности. Надеюсь изменить эту ситуацию в самое ближайшее время.

Программа написана под linux, собирается из исходников. Для этого потребуется установить в системе:

* программу SExtractor (да, знаю, клёвое название) http://terapix.iap.fr/rubrique.php?id_rubrique=91/
* библиотеку PGplot http://www.astro.caltech.edu/~tjp/pgplot/

Установка самой программы VAST:
0. Скачиваем последнюю версию программы с сайта http://saistud.sai.msu.ru/vast/
1. Разархивируем её: "tar -xvjf vast-версия.tar.bz2"
2. Потом переходим в папку с программой: "cd vast-версия"
3. И компилируем её: "make"
После этого программа готова к работе.

Для теста можно взять например эти данные: ftp://saistud.sai.msu.ru/pub/poisk/sample_data.tar.bz2 (http://ftp://saistud.sai.msu.ru/pub/poisk/sample_data.tar.bz2)(24Мб). Разархивируем их, получаем папку с FITS картинками некоторой области неба. В коммандной строке заходим в папку программы и пишем:
"./poisk /ПУТЬ/К/ТЕСТОВЫМ/КАРТИНКАМ/*fts"
и ждём пока на экране появится график зависимости разброса звёздной величины от средней звёздной величины (в инструментальной системе, не пугайтесь цифр!). Нажав на любую точку(звезду) можно посмотреть её кривую блеска. На графике будут зелёные точечки - это кандидаты. Задача пользователя посмотреть кривые блеска всех кандидатов, отобрав настоящие переменные среди ложняков. Ложных кандидатов много - это плата за уверенность, что настоящую переменную мы не пропустим.

Любые возникающе вопросаы - не стесняйтесь, задавайте! :)

Работы над Windows версией программы пока не начаты. Основная трудность - портировать под Windows программу SExtractor.
Вероятно SExtractor+VAST заработают без особых изменений в середе CygWin, но сам я это ещё не пробовал. Если кто имеет опыт работы с CygWin - буду рад пообщаться!
Также приглашаем всех желающих принять участие в разработке! Пока к написанию этого маленького монстрика приложились четверо студентов с Астрономического Отделения физфака и ВМиК МГУ.
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: kirx от 07 августа 2006, 17:14:06
Итак, инструкция по использованию. :)
Если всё успешно установлено...
0) подготавливаем файлы, которые будем обрабатывать (например в MaxIm'е). Нужны картинки с учтённым дарком и флэтом, полученные на одном телескопе в одном фильтре, на которых изображена одна область неба. Ещё хорошо бы чтоб на картинках было не слишком мало звёзд - хотябы пара десятков.
Для теста лучше начать с серии снимков, полученных в одну ночь. Применительно к реалиям Ка-Дара - режем их на сюдюк, его вставляем в 3й компьютер. Заходим под пользователем obs, пароль как на других компах. Если не запущены Xы - пускаем командой startx
1) открываем терминал в X'ах (xterm\rxvt\любой_аналог). Переходим в папку с программой  - cd ~/vast-1.0rc6
2) запускаем программу ./poisk сообщая ей как аргументы список файлов, которые хотим обработать. Это может выглядеть например так:
./poisk /mnt/cdrom/object*fit
3) ждём какое-то время (зависит от колличества и размеров картинок и колличества звёзд на них).
4) на экране в новом окне появляется график зависимости дисперсии звёздной величины от звёздной величины (инструментальной). Не пугаемся страшных цифр. Каждая точка на графике - это одна звезда. На неё можно нажать мышкой - тогда покажется её кривая блеска.
5) нужно глазами просмотреть все звёздочки хоть чуть-чуть поднимающиеся над остальными на этом графике (если они помечены зелёным крестиком - тем лучше). И по виду кривой блеска сказать, переменка это или ложняк. Ложняков стоит остерегаться, они могут быть ну очень похожи на переменки. :) Типичные признаки ложняка: звезда на краю кадра, переползает через не исправленный дефект плоского поля, звезда двойная (а в течение ночи меняется сиинг/фокус). Самый злой признак - если можно найти другую звезду с похожей кривой блеска. ;D  Это я так пугаю, на самом деле всё это легко отсеивается, нужно только взглянуть повнимательнее.

Вот типа так прога и работает. Да, там ещё есть встроенная смотрелка фитсов - жмёшь на точку на кривой блеска - вылезает картинка из которой эта точка получена, а звёздочка отмечена красным крестиком. Если ничего не видно, жмём на h (на клаве). Выглядит жутко, но в принципе всё видно.

Успехов!
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: kirx от 08 марта 2007, 18:55:44
Мы с ребятами всё хотим довести эту программу до состояния, когда ей смогут пользоваться не только авторы.  ;)  Надеемся, в этом поможет обновлённая страничка с описанием http://saistud.sai.msu.ru/vast/ (на англ. яз.) и форум http://saistud.sai.msu.ru/vast/forum/ (с рус. и англ. разделами), предназначенный для решения проблем с её установкой и использованием. Приглашаем всех, особенно потенциальных пользователей и разработчиков! :)
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: BrainBug от 06 февраля 2008, 19:44:51
...
Любые возникающе вопросаы - не стесняйтесь, задавайте! :)
...
Скачал последнюю версию СексТрактора и VAST-а... скомпилял... запустил...
Вот такая ботва творится... :(
cerebrum vast-1.0rc18 # ./vast ./test/*.fit
--==VaST 1.0rc17==--
Detection of variable objects.
excluding region - 0.000000 0.000000 0.000000 0.000000
Exclusion file was read
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 6.9 ./test/nc1491_g63_o120_120s_0.fit
JD is 2440587.500683
Looking for time of observation in START
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 6.9 ./test/nc1491_g63_o120_120s_1.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 6.8 ./test/nc1491_g63_o120_120s_2.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.8 ./test/ngc1491_g63_o120_120s_0.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.3 ./test/ngc1491_g63_o120_120s_10.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 6.8 ./test/ngc1491_g63_o120_120s_12.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 6.9 ./test/ngc1491_g63_o120_120s_13.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.1 ./test/ngc1491_g63_o120_120s_1.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.0 ./test/ngc1491_g63_o120_120s_2.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.4 ./test/ngc1491_g63_o120_120s_3.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.0 ./test/ngc1491_g63_o120_120s_4.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.0 ./test/ngc1491_g63_o120_120s_5.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.4 ./test/ngc1491_g63_o120_120s_6.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 6.9 ./test/ngc1491_g63_o120_120s_7.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 6.9 ./test/ngc1491_g63_o120_120s_8.fit
No similar triangles
                     exposure  120.   computed JD     2440587.500683
sex -PHOT_APERTURES 7.2 ./test/ngc1491_g63_o120_120s_9.fit
No similar triangles
filtering...

writing files...
launch ./find_candidates
ERROR: There are no light curve files!!!
check by util/data_parser - sh: data.m_sigma: Нет такого файла или каталога
ok
ERROR: Can't open data.m_sigma!
ERROR: There are no light curve files!!!
ERROR: There are no light curve files!!!
ERROR: Can't open file "data.m_sigma"!
и есессно никаких новых окон не открывается.
Запускал рутом, терминал Rxvt v2.7.10 - released: 26 MARCH 2003. Gentoo Linux 2007.0
FITS-ы с QHY6...
Зигзагообразность моих рук или... ???
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: ctac от 06 февраля 2008, 21:05:37
 Жека, сейчас будем писать Кирюхе письма, а то он уехал в Германию учить науку Астрофизику ;)
 Твой результат говорит о том, что алгоритм работы написан не легко и с пробелами в описании. Поэтому я и не люблю Linux. НО! Я его начинаю осваивать с этой недели ;)
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: BrainBug от 07 февраля 2008, 08:48:50
Жека, сейчас будем писать Кирюхе письма, а то он уехал в Германию учить науку Астрофизику ;)
 Твой результат говорит о том, что алгоритм работы написан не легко и с пробелами в описании. Поэтому я и не люблю Linux. НО! Я его начинаю осваивать с этой недели ;)
Ок! Ждём-с ответов....  ::)
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: kirx от 07 февраля 2008, 12:36:35
Всем привет! Простите, что не сразу отвечаю!

Диагноз не утешительный - пролема не понятно какая, но серьёзная. Вероятно это баг, о котором мне говорил один мой волосатый коллега, но вместо того, чтобы мне его показать - уехал в Коуровку. ;) Баг заключается в том, что в каких-то пока не установленных условиях (архитектура, версия компилятора) не работает алгоритм отождествления кадров.
Проблема наблюдалась на убунте и на генте собранной под amd64.
Своими глазами я этого бага ни разу не видел, поэтому он ещё не исправлен.
Сам я использую 32 битную Gentoo, gcc4.

BrainBug, плиз, напишите, какую систему Вы используете (дистрибутив, видимо, тоже Gentoo? Какая версия компилятора? Под какую архитектуру собрана система - 32/64 бит?). На всякий случай, стоит попробовать запустить программу на этих тестовых снимках: ftp://scan.sai.msu.ru/pub/software/vast/sample_data.tar.bz2 (http://ftp://scan.sai.msu.ru/pub/software/vast/sample_data.tar.bz2) (24Мб) Чтобы убедиться, что это именно этот баг а не что-то другое...
Ещё, если можно, пришлите вывод vast'а запущенного с ключём -d: ./vast -d ./test/*.fit
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: BrainBug от 07 февраля 2008, 12:50:00
Gentoo собрана в 32-бит варианте... Проц, если это поможет, Пень D 915.
gcc 4.1.1
СексТрактор собирал из исходников последний, какой у них лежит на сайте.
PGPLOT ставил emerge-ем...
Качаю тестовые снимки, дома попробую и отпишу о результате только вечером... На рабочей тачке всё никак руки не дойдут дособирать Gentoo... :(

Вот что выдал C-Munipack с тестовыми снимками. Мои же снимки C-Munipack отказался обрабатывать! Что может быть не так моими снимками?
Вот заголовок одного из моих кадров:
SIMPLE  = T / file does conform to FITS standard             
BITPIX  = 16 / number of bits per data pixel                 
NAXIS    = 2 / number of data axes                           
NAXIS1  = 752 / length of data axis 1                         
NAXIS2  = 582 / length of data axis 2                         
EXTEND  = T / FITS dataset may contain extensions           
COMMENT    FITS (Flexible Image Transport System) format is defined in 'Astronomy
COMMENT    and Astrophysics', volume 376, page 359; bibcode: 2001A&A...376..359H
EXPTIME = 90. / Exposure time in seconds                       
EXPOSURE = 90. / Exposure time in seconds                       
GAIN    = 63 / gain                                           
OFFSET  = 114 / offset                                         
TEC_OFF = 0 / TEC_Off                                       
HIERARCH AntiAmpGlow = 2 / AntiAmpGlow                                   
HIERARCH DeinterlaceBrightness = 1 / Fix Interlaced Brightness                 
XPIXSZ  = 6.5 / Pixel Width in microns (after binning)         
YPIXSZ  = 6.25 / Pixel Height in microns (after binning)       
HIERARCH CaptureMode = 'OneFrame' / Capture Mode                               
HIERARCH BlackBorderBrightness = 7287.942 / Black Border Brightness             
HIERARCH OddLinesBrightness = 13210.1 / Odd Lines Brightness                   
HIERARCH EvenLinesBrightness = 13121.08 / Even Lines Brightness                 
HIERARCH EvenLinesScale = 1.015261 / Even Lines Scale                           
INPUTFMT = 'FITS    ' /          Format of file from which image was read       
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: kirx от 07 февраля 2008, 18:27:32
Gentoo собрана в 32-бит варианте... Проц, если это поможет, Пень D 915.
gcc 4.1.1
СексТрактор собирал из исходников последний, какой у них лежит на сайте.
PGPLOT ставил emerge-ем...
На такой системе VaST точно должен работать - она очень похожа на мою. :)

C-Munipack выдал всё правильно. На скриншоте отмечена катаклизмическая переменная, присутствующая в поле. Если пощёлкать по звёздам поближе к основной последовательности "разброс-яркость" - должна вылезти ещё одна эллиптическаяя переменная в этом поле.

По поводу заголовка снимков с QHY. Есть две странности, ни одна из которых на отождествление снимков повлиять не могла:
1. В заголовке отсутствует время съёмки, обычно обозначаемое ключём DATE-OBS. Должно быть что-то типа: DATE-OBS= '2004-08-01'         /YYYY-MM-DD observation start date, UT2. Ключи, начинающиеся со слова HIERARCH не соответствуют стандартному FITS-формату. Наверно это какое-то расширение...

Если дело не в баге, то снимки могли не отождествиться из-за большого количества горячих пикселей. Программа может путать их со звёздами...
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: BrainBug от 11 февраля 2008, 11:39:44
Попробовал я на тестовых снимках... Та же беда! Та же ошибка!  :'(
С ключом -d тоже пробовал - ничего там полезного не нашёл...
Чё делать?
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: kirx от 11 февраля 2008, 18:53:47
2 BrainBug
Если есть возможность, плиз, все матюги которые васт выдаёт с тестосвыми снимками с ключём -d - в студию!

Ещё попробуйте другой снимок взять в качестве опорного, для этого его надо поставить первым в списке аргументов. Ничего страшного, если один снимок два раза будет указан...

Нужно понять, в чём разница между Вашей системой и моей. Хорошо, что у нас один дистрибутив.
Проблема в том, что я даже приблизительно не представляю себе где может быть ошибка. Блок отождествления ни на какие внешние библиотеки не полагается. Казалось бы, Си, он и в Африке Си...
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: BrainBug от 12 февраля 2008, 13:19:30
Осмелюсь предположить, что собака порылась в заголовках FITS-ов...  ::)
Они на что-нить влияют во время обработки vast-ом?
И если сегодня погоды не будет, то соберу полный дебаг со всеми матюгами и выложу...
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: kirx от 12 февраля 2008, 13:39:05
Заголовок фитса используется дважды:
* Его читает секстрактор.
* VaST из него берёт время экспозиции.

НО, загадка остаётся в любом случае! Тестовые снимки, они на то и тестовые, что программа с ними гарантировано работает! А вот теперь получается, что не всегда...

З.Ы. Вот вчера поставил васт на ноут с какой-то средней свежести SuSE. Баг не всплыл, всё работает...
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: ctac от 12 февраля 2008, 18:36:53
Попробовал я на тестовых снимках... Та же беда! Та же ошибка!  :'(
С ключом -d тоже пробовал - ничего там полезного не нашёл...
Чё делать?

 Женя, а откуда ты скачал тестовые снимки? (просто хочу удостоверится, что все говорят об одном и том же)
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: kirx от 12 февраля 2008, 19:04:11
Если что, я говорил вот об этих тестовых снимках  :) ftp://scan.sai.msu.ru/pub/software/vast/sample_data.tar.bz2 (http://ftp://scan.sai.msu.ru/pub/software/vast/sample_data.tar.bz2)

Кстати, ctac, как складываются твои отношения с VaST'ом?
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: ctac от 12 февраля 2008, 19:29:30
Если что, я говорил вот об этих тестовых снимках  :) ftp://scan.sai.msu.ru/pub/software/vast/sample_data.tar.bz2 (http://ftp://scan.sai.msu.ru/pub/software/vast/sample_data.tar.bz2)

Кстати, ctac, как складываются твои отношения с VaST'ом?

 Еще ни разу не включил ноут, как получил пасворд)))) Работа, блин...
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: kirx от 12 февраля 2008, 20:41:08
Работа, блин...
От работы кони дохнут!
Много работать - вредно! ...написал я на форуме, свернул фаерфокс и пошёл работать.  ;D
Название: Re: Программа для поиска переменных на ПЗС-снимках
Отправлено: BrainBug от 12 февраля 2008, 21:21:54
Если что, я говорил вот об этих тестовых снимках  :) ftp://scan.sai.msu.ru/pub/software/vast/sample_data.tar.bz2 (http://ftp://scan.sai.msu.ru/pub/software/vast/sample_data.tar.bz2)

Кстати, ctac, как складываются твои отношения с VaST'ом?
На этих снимках я и тестировал!

./vast -d ./sample_data/*fit
Во волжении output log.
Название: Re: Поле TYC 1914-0340-1
Отправлено: kirx от 13 февраля 2008, 21:14:38
Я провел предварительную обработку 40-часовой фотометрии: автоматом были еще во время наблюдений вычтены темновые токи, на плоские не делил, взял каждый десятый кадр...
Не сочтите за рекламу... ;D
Когда кол-во снимков переваливает, эдак за 1000... Лично у меня не хватает терпения обрабатывать их даже максимом.  Поэтому я юзаю васт. В последнюю версию я воткнул несколько утилиток для предварительной обработки ПЗС снимков. Вот пример их использования.

Медианное сложение.
Заходим в папку с картинками. Пусть плоские поля называются ff-01.fit, ff-02.fit, ... Их можно сложить медианой:ГДЕ_ТАМ_ЛЕЖИТ_ВАСТ/vast-1.0rc18/util/ccd/mk ff-* Будет создан файл median.fit
а теперь Деление на плоское поле. Тут будет немного шэловской магии...
Заходим в папку с картинками. Пусть картинки называются img-001.fit, img-002.fit, ... Чтобы их все разделить на плоское поле, запускаем:
for i in img*fit ;do ГДЕ_ТАМ_ЛЕЖИТ_ВАСТ/vast-1.0rc18/util/ccd/md $i median.fit f_"$i" && rm -f $i ;doneПосле этого у поделённых на плоское поле файлов будет префикс "f_", а старые файлы удалятся (если их нужно оставить, тогда не пишем "&& rm -f $i").
Конструкция for i in img*fit ;do ... ;done означает "для каждого файла соответствующего маске img*fit". util/ccd/md программулька, принимающая в коммандной строке три аргумента: 1)файл, который делим (изображение); 2)файл, НА который делим (плоское поле); 3)как назвать файл с результатом. Конструкция && означает "в случае успешного выполнения предыдущей команды".

Ну а потом на эти кадры уже можно натравить сам vast.

Может всё это выглядит по началу страшновато, но, честно, к этому можно быстро привыкнуть. А как результат - комппьютер пыхтит-считает. Астроном - спокойно попивает чаёк в ожидании результата обработки. :D
Название: Re: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: BrainBug от 09 января 2009, 19:58:25
Лучше поздно, чем никогда!  ;D
Проблема была в следующем: так как управление ПСЗ-камерой QHY6 велась в CCDcap-е, то заголовок FITS-файлов записывался в НЕСТАНДАРТНОМ виде! Из-за этого MuniWin не хотел "кушать" такие FITS-ы...
Файлы, полученные в MaximDL-е MuniWin хавает на УРА просто!  :)
Вывод: пользуйте ПРАВИЛЬНЫЕ программы для управления CCD!  8)
Название: Re: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: BrainBug от 10 января 2009, 15:20:43
cerebrum vast-1.0rc33 # ./vast

--==VaST 1.0rc33==--
Detection of variable objects.

Usage: ./vast [options] image1.fit image2.fit ... imageN.fit

Options:
  -h or --help       print this message
  -f or --nofind     run ./find_candidates manually
  -d or --debug      run in debug (verbose) mode
  -t or --time       use ANOVA & BLS period search algorithms
  -s or --small      use small comparison window (1 pix, useful for most CCD images)
  -m or --medium     use medium comparison window (6 pix)
  -w or --wide       use wide comparison window (10 pix, usful for scanned photographic plates)
  -p or --poly       do not use polynomal magnitude calibration (useful for good quality CCD images)
  -P                 use default.sex.PHOTO parameter file instead of default.sex (for photographic plates)
  -r or --norotation assume no rotation greater then 3 deg.
  -l or --filter     use sigma filter (slower computation)

Examples:
  ./vast ../data/ccd_image-001.fit ../data/ccd_image-*.fit       # Typical CCD image reduction.
  ./vast -s ../data/ccd_image-001.fit ../data/ccd_image-*.fit    # CCD image reduction using fixed size of comparison window.
  ./vast -Pt ../data/photoplate-001.fit ../data/photoplate-*.fit # Typical scanned photographic plate reduction,
                                                                 # configuration file default.sex.PHOTO and period search algorithms will be used.
cerebrum vast-1.0rc33 #

Total number of measurements 0 (0 measurements stored in RAM)
writing lightcurve (outNNNN.dat) files...
MATCH_SUCESS=0
Writing summary file: vast_summary.log ...Ok
Images processed 100
Images used for photometry 1
Ref.  image: 2454839.264456 07.01.2009 18:20:19   /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/Search_VS/Orion/RA_03h53m24s__DE_040629/Search_VS-001_R_.fit
First image: 2454839.264456 07.01.2009 18:20:19   /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/Search_VS/Orion/RA_03h53m24s__DE_040629/Search_VS-001_R_.fit
Last  image: 2454839.341690 07.01.2009 20:11:32

Почему он не видит звёзд на кадре?  :'( ???
Название: Re: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: kirx от 10 января 2009, 16:32:50
Total number of measurements 0 (0 measurements stored in RAM)
writing lightcurve (outNNNN.dat) files...
MATCH_SUCESS=0
Writing summary file: vast_summary.log ...Ok
Images processed 100
Images used for photometry 1
Ref.  image: 2454839.264456 07.01.2009 18:20:19   /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/Search_VS/Orion/RA_03h53m24s__DE_040629/Search_VS-001_R_.fit
First image: 2454839.264456 07.01.2009 18:20:19   /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/Search_VS/Orion/RA_03h53m24s__DE_040629/Search_VS-001_R_.fit
Last  image: 2454839.341690 07.01.2009 20:11:32
Почему он не видит звёзд на кадре?  :'( ???
Да странно, почему-то не отождествился ни один кадр. Мне приходят в голову вот какие возможности:
* А сколько звёзд видно на кадре (нужно порядка сотни или больше)?
* Насколько согласуется число звёзд найденных VaST'ом (пишет по ходу обработки) с числом звёзд которые видно на кадре глазами? Не хватает ли васт много шума/горячих пикселей вместо звёзд? Если так, нужно попробовать поизменять значения
DETECT_MINAREA  2.0              # minimum number of pixels above threshold
DETECT_THRESH   2.0             # <sigmas> or <threshold>,<ZP> in mag.arcsec-2
ANALYSIS_THRESH 2.0             # <sigmas> or <threshold>,<ZP> in mag.arcsec-2
в файле настроек SExtractor'а - default.sex в папке васта.
* Нет ли в Makefile (в папке васта) незакоментированной строки
CFLAGS = -O3? Благодаря Андрею Самохвалову выяснилось, что собранный с этим флагом васт начинает работать зверски нестабильно. Если флаг там - нужно убрать его и снова сделать make
* Ну и если программа так и не заработает - мне самому хотелось бы взглянуть на снимки! Плиз, загрузите их по фтп сюда ftp://scan.sai.msu.ru/uploads/ (http://ftp://scan.sai.msu.ru/uploads/)
Название: Re: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: BrainBug от 10 января 2009, 22:48:25
Меня вот это беспокоит:
Processing  /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/VarSrars/XY_Leo/XY_Leo-098_R_.fit
Exposure     7 sec, 07.01.2009 00:22:31 UT = JD 2454838.515671 (mid. exp.)
sex -c autodetect_aper.sex /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/VarSrars/XY_Leo/XY_Leo-098_R_.fit
sex -PHOT_APERTURES 12.4 /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/VarSrars/XY_Leo/XY_Leo-098_R_.fit
----- SExtractor 2.5.0 started on 2009-01-10 at 22:42:30 with 1 thread

Measuring from: " "  / 752 x 572 / 16 bits INTEGER data
(M+D) Background: 10137.4    RMS: 100.992    / Threshold: 201.983   
Objects: detected 169      / sextracted 54                     
> All done (in 1 s)
No similar triangles
        0 stars detected,     0 stars matched
Почему "0 stars detected, 0 stars matched" и кто такой "No similar triangles" ???

Вываливается после прогона всех файлов вот с такой кракозябриной:
Total number of measurements 0 (0 measurements stored in RAM)
writing lightcurve (outNNNN.dat) files...
MATCH_SUCESS=0
Writing summary file: vast_summary.log ...Ok
Images processed 99
Images used for photometry 1
Ref.  image: 2454838.472569 06.01.2009 23:20:27   /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/VarSrars/XY_Leo/XY_Leo-001_R_.fit
First image: 2454838.472569 06.01.2009 23:20:27   /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/VarSrars/XY_Leo/XY_Leo-001_R_.fit
Last  image: 2454838.516123 07.01.2009 00:23:10   
./find_candidates
Wiping out bad (nan) measurements... done!  =)
ERROR: There are no light curve files!!!
ERROR: There are no light curve files!!!
check by util/data_parser -
util/nopgplot.sh: line 12: data.m_sigma: Нет такого файла или каталога
mv: невозможно выполнить stat для `tmp': Нет такого файла или каталога
ERROR: Can't open data.m_sigma!
done =)
ERROR: Can't open file "data.m_sigma"!
Название: Re: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: kirx от 11 января 2009, 00:05:34
Ситуация проясняется: действительно, проблема в том, что мало звёзд - поэтому васту не удаётся отождествить кадры. А SExtractor видимо не оптимально настроен на обработку данной комбинации ПЗС+телескоп. Он пишет, что найдено 169 звёзд, а обработано только 54:
Objects: detected 169      / sextracted 54Т.е. 2/3 обнаруженных звёзд секстрактор посчитал шумом и отбросил не передав дальше васту.
Да, прости, забыл написать в прошлом посте - параметры DETECT_THRESH и ANALYSIS_THRESH в default.sex нужно менять вместе. Если они отличаются - это может вызвать разницу между detected и sextracted. А может быть большая часть того, что хватает трактор и правда не звёзды а шум... Если на кадре правда только 54 звезды, то васт может вообще не справится с такими данными, ему для нормальной работы нужна хотя бы сотня. :(

No similar triangles означает, что не удалось отождествить кадр, отождествление осуществляется поиском подобных треугольников.
        0 stars detected,     0 stars matched - не знаю, возможно это означает что секстрактор всем найденным звёздам проставляет плохие флаги (последняя колонка в файле test.cat, если не равна нулю - значит есть проблемы, васт такие звёзды не берёт), а может нули выдаются просто потому что отождествление не удалось.

Остальная ругань васта нормальна для ситуации, когда не удалось отождествить и обработать достаточное количество кадров.

Короче говоря, проблема в том, что секстрактор плохо находит звёзды. Это происходит либо потому, что их там просто нет (в нужном количестве), либо - потому, что настройки в default.sex плохо подходят для данного инструмента (телескоп+ПЗС).

Такие дела...  ::)
Название: Re: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: ctac от 10 февраля 2009, 18:48:18
Повезло пересечься с Кирюхой и Саней Лебедевым в Москве и задать актуальный вопрос: "-А когда VAST начнет находить транзиенты?, А!?" ;)
 Вопрос был понят и принят. В ответ последовали идеи как это можно реализовать. Теперь ждем действия :)
Название: Re: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: Иван Сергей от 24 мая 2009, 20:03:49
Так версия под винду скоро появиться?
Название: Re: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: kirx от 24 мая 2009, 21:49:14
Учите линукс, ребята! ;)
Ясно, что у меня в обозримом будущем не будет времени сесть учится прогать под винду, а потом переписывать под неё васт. Если вдруг кто-то с опытом программирования под виндоус возьмётся перенести на них васт - может рассчитывать на мою всемерную поддержку и помощь. Но сам я это явно не потяну. Потому что сделать это очень сложно, а самому мне это не нужно. Сорри. :-\

Если нет желания устанавливать линукс ради васта - существует Knoppix, всякие виртуальные машины, Cygwin... При большом желании можно запустить васт не ставя линукс. Только это не отменяет необходимости уметь пользоваться линуксом хотя бы на самом элементарном уровне. В смысле команды cd, ls и make понадобятся полюбому! :)
Название: Re: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: kirx от 25 июля 2009, 15:36:46
Основная проблема VaST - сильно неинтуитивный интерфейс. Пытаясь как-то поправить положение я выложил на страницу программы (http://scan.sai.msu.ru/vast/) несколько видеороликов (скринкастов) показывающих основные приёмы работы с VaST'ом.

Кроме того программа постепенно обновляется, исправляются баги. В новых версиях
В общем, программа постепенно становится лучше и надёжнее! :D

Ещё добавлен автоматический поиск транзиентов, но пока он работает в тестовом режиме и не слишком эффективно... :-\
Название: Re: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: kirx от 08 августа 2009, 16:48:35
Выпущенна новая (45) версия VaST'а (ftp://scan.sai.msu.ru/pub/software/vast/vast-1.0rc45.tar.bz2). Теперь программа нормально компилируется под Ubuntu.
Название: Re: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: ctac от 09 августа 2009, 11:49:55
Самый страшный вопрос от юзера: а soft работает с JPG?  ;D
Название: Re: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: ched от 09 августа 2009, 12:05:28
Самый страшный вопрос от юзера: а soft работает с JPG?  ;D

думаю, не проблема отконвертить в FITS через MaxIm DL.
Название: Re: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: ctac от 09 августа 2009, 20:09:33
Самый страшный вопрос от юзера: а soft работает с JPG?  ;D

думаю, не проблема отконвертить в FITS через MaxIm DL.

 В принципе да, но некоторые программы не воспринимают так переконвертированные файлы.
Название: Re: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: kirx от 11 августа 2009, 00:48:59
Файлы-то программа наверно воспримет, только надо прописать в фитс-шапку дату наблюдений либо в обычном формате, либо просто сделать в шапке ключь JD и написать в него Юлианскую Дату. Но за качество фотометрии по снимкам сконверченым из JPG я не ручаюсь!.. ;D
Название: Re: VAST - Программа для поиска переменных на ПЗС-снимках
Отправлено: ctac от 11 августа 2009, 14:01:18
Файлы-то программа наверно воспримет, только надо прописать в фитс-шапку дату наблюдений либо в обычном формате, либо просто сделать в шапке ключь JD и написать в него Юлианскую Дату. Но за качество фотометрии по снимкам сконверченым из JPG я не ручаюсь!.. ;D

 В JPG есть шапка с указанием даты, просто у нее не FITS стандарт (но есть свой). Да и качественная фотометрия не нужна - нужен поиск новых объектов на снимке.
 
 Вопрос: а можно проводить только поиск только транзиентов без поиска переменных? и наоборот?