Автор Тема: VAST - Программа для поиска переменных на ПЗС-снимках  (Прочитано 78835 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн kirx

  • Активист
  • *****
  • Сообщений: 250
    • Просмотр профиля
    • E-mail
Если что, я говорил вот об этих тестовых снимках  :) ftp://scan.sai.msu.ru/pub/software/vast/sample_data.tar.bz2

Кстати, ctac, как складываются твои отношения с VaST'ом?

Оффлайн ctac

  • Сотрудник ФПА Ка-Дар
  • *****
  • Сообщений: 8680
  • Короткий Стас
    • ICQ клиент - 340303332
    • Yahoo клиент - astrostas83
    • Просмотр профиля
    • E-mail
Если что, я говорил вот об этих тестовых снимках  :) ftp://scan.sai.msu.ru/pub/software/vast/sample_data.tar.bz2

Кстати, ctac, как складываются твои отношения с VaST'ом?

 Еще ни разу не включил ноут, как получил пасворд)))) Работа, блин...
Короткий Стас
 www.astroalert.su - новости!
 www.astromap.ru - Всё астрономические организации РФ и ближнего зарубежья

Оффлайн kirx

  • Активист
  • *****
  • Сообщений: 250
    • Просмотр профиля
    • E-mail
Работа, блин...
От работы кони дохнут!
Много работать - вредно! ...написал я на форуме, свернул фаерфокс и пошёл работать.  ;D

Оффлайн BrainBug

  • ***
  • Сообщений: 109
  • Ростов-на-Дону
    • ICQ клиент - 428560054
    • Yahoo клиент - cerebrum_06
    • Просмотр профиля
    • Группа по поиску новых объектов
    • E-mail
Если что, я говорил вот об этих тестовых снимках  :) ftp://scan.sai.msu.ru/pub/software/vast/sample_data.tar.bz2

Кстати, ctac, как складываются твои отношения с VaST'ом?
На этих снимках я и тестировал!

./vast -d ./sample_data/*fit
Во волжении output log.
Команда ISON

Оффлайн kirx

  • Активист
  • *****
  • Сообщений: 250
    • Просмотр профиля
    • E-mail
Re: Поле TYC 1914-0340-1
« Ответ #19 : 13 февраля 2008, 21:14:38 »
Я провел предварительную обработку 40-часовой фотометрии: автоматом были еще во время наблюдений вычтены темновые токи, на плоские не делил, взял каждый десятый кадр...
Не сочтите за рекламу... ;D
Когда кол-во снимков переваливает, эдак за 1000... Лично у меня не хватает терпения обрабатывать их даже максимом.  Поэтому я юзаю васт. В последнюю версию я воткнул несколько утилиток для предварительной обработки ПЗС снимков. Вот пример их использования.

Медианное сложение.
Заходим в папку с картинками. Пусть плоские поля называются ff-01.fit, ff-02.fit, ... Их можно сложить медианой:ГДЕ_ТАМ_ЛЕЖИТ_ВАСТ/vast-1.0rc18/util/ccd/mk ff-* Будет создан файл median.fit
а теперь Деление на плоское поле. Тут будет немного шэловской магии...
Заходим в папку с картинками. Пусть картинки называются img-001.fit, img-002.fit, ... Чтобы их все разделить на плоское поле, запускаем:
for i in img*fit ;do ГДЕ_ТАМ_ЛЕЖИТ_ВАСТ/vast-1.0rc18/util/ccd/md $i median.fit f_"$i" && rm -f $i ;doneПосле этого у поделённых на плоское поле файлов будет префикс "f_", а старые файлы удалятся (если их нужно оставить, тогда не пишем "&& rm -f $i").
Конструкция for i in img*fit ;do ... ;done означает "для каждого файла соответствующего маске img*fit". util/ccd/md программулька, принимающая в коммандной строке три аргумента: 1)файл, который делим (изображение); 2)файл, НА который делим (плоское поле); 3)как назвать файл с результатом. Конструкция && означает "в случае успешного выполнения предыдущей команды".

Ну а потом на эти кадры уже можно натравить сам vast.

Может всё это выглядит по началу страшновато, но, честно, к этому можно быстро привыкнуть. А как результат - комппьютер пыхтит-считает. Астроном - спокойно попивает чаёк в ожидании результата обработки. :D
« Последнее редактирование: 13 февраля 2008, 21:18:21 от kirx »

Оффлайн BrainBug

  • ***
  • Сообщений: 109
  • Ростов-на-Дону
    • ICQ клиент - 428560054
    • Yahoo клиент - cerebrum_06
    • Просмотр профиля
    • Группа по поиску новых объектов
    • E-mail
Лучше поздно, чем никогда!  ;D
Проблема была в следующем: так как управление ПСЗ-камерой QHY6 велась в CCDcap-е, то заголовок FITS-файлов записывался в НЕСТАНДАРТНОМ виде! Из-за этого MuniWin не хотел "кушать" такие FITS-ы...
Файлы, полученные в MaximDL-е MuniWin хавает на УРА просто!  :)
Вывод: пользуйте ПРАВИЛЬНЫЕ программы для управления CCD!  8)
Команда ISON

Оффлайн BrainBug

  • ***
  • Сообщений: 109
  • Ростов-на-Дону
    • ICQ клиент - 428560054
    • Yahoo клиент - cerebrum_06
    • Просмотр профиля
    • Группа по поиску новых объектов
    • E-mail
cerebrum vast-1.0rc33 # ./vast

--==VaST 1.0rc33==--
Detection of variable objects.

Usage: ./vast [options] image1.fit image2.fit ... imageN.fit

Options:
  -h or --help       print this message
  -f or --nofind     run ./find_candidates manually
  -d or --debug      run in debug (verbose) mode
  -t or --time       use ANOVA & BLS period search algorithms
  -s or --small      use small comparison window (1 pix, useful for most CCD images)
  -m or --medium     use medium comparison window (6 pix)
  -w or --wide       use wide comparison window (10 pix, usful for scanned photographic plates)
  -p or --poly       do not use polynomal magnitude calibration (useful for good quality CCD images)
  -P                 use default.sex.PHOTO parameter file instead of default.sex (for photographic plates)
  -r or --norotation assume no rotation greater then 3 deg.
  -l or --filter     use sigma filter (slower computation)

Examples:
  ./vast ../data/ccd_image-001.fit ../data/ccd_image-*.fit       # Typical CCD image reduction.
  ./vast -s ../data/ccd_image-001.fit ../data/ccd_image-*.fit    # CCD image reduction using fixed size of comparison window.
  ./vast -Pt ../data/photoplate-001.fit ../data/photoplate-*.fit # Typical scanned photographic plate reduction,
                                                                 # configuration file default.sex.PHOTO and period search algorithms will be used.
cerebrum vast-1.0rc33 #

Total number of measurements 0 (0 measurements stored in RAM)
writing lightcurve (outNNNN.dat) files...
MATCH_SUCESS=0
Writing summary file: vast_summary.log ...Ok
Images processed 100
Images used for photometry 1
Ref.  image: 2454839.264456 07.01.2009 18:20:19   /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/Search_VS/Orion/RA_03h53m24s__DE_040629/Search_VS-001_R_.fit
First image: 2454839.264456 07.01.2009 18:20:19   /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/Search_VS/Orion/RA_03h53m24s__DE_040629/Search_VS-001_R_.fit
Last  image: 2454839.341690 07.01.2009 20:11:32

Почему он не видит звёзд на кадре?  :'( ???
Команда ISON

Оффлайн kirx

  • Активист
  • *****
  • Сообщений: 250
    • Просмотр профиля
    • E-mail
Total number of measurements 0 (0 measurements stored in RAM)
writing lightcurve (outNNNN.dat) files...
MATCH_SUCESS=0
Writing summary file: vast_summary.log ...Ok
Images processed 100
Images used for photometry 1
Ref.  image: 2454839.264456 07.01.2009 18:20:19   /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/Search_VS/Orion/RA_03h53m24s__DE_040629/Search_VS-001_R_.fit
First image: 2454839.264456 07.01.2009 18:20:19   /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/Search_VS/Orion/RA_03h53m24s__DE_040629/Search_VS-001_R_.fit
Last  image: 2454839.341690 07.01.2009 20:11:32
Почему он не видит звёзд на кадре?  :'( ???
Да странно, почему-то не отождествился ни один кадр. Мне приходят в голову вот какие возможности:
* А сколько звёзд видно на кадре (нужно порядка сотни или больше)?
* Насколько согласуется число звёзд найденных VaST'ом (пишет по ходу обработки) с числом звёзд которые видно на кадре глазами? Не хватает ли васт много шума/горячих пикселей вместо звёзд? Если так, нужно попробовать поизменять значения
DETECT_MINAREA  2.0              # minimum number of pixels above threshold
DETECT_THRESH   2.0             # <sigmas> or <threshold>,<ZP> in mag.arcsec-2
ANALYSIS_THRESH 2.0             # <sigmas> or <threshold>,<ZP> in mag.arcsec-2
в файле настроек SExtractor'а - default.sex в папке васта.
* Нет ли в Makefile (в папке васта) незакоментированной строки
CFLAGS = -O3? Благодаря Андрею Самохвалову выяснилось, что собранный с этим флагом васт начинает работать зверски нестабильно. Если флаг там - нужно убрать его и снова сделать make
* Ну и если программа так и не заработает - мне самому хотелось бы взглянуть на снимки! Плиз, загрузите их по фтп сюда ftp://scan.sai.msu.ru/uploads/

Оффлайн BrainBug

  • ***
  • Сообщений: 109
  • Ростов-на-Дону
    • ICQ клиент - 428560054
    • Yahoo клиент - cerebrum_06
    • Просмотр профиля
    • Группа по поиску новых объектов
    • E-mail
Меня вот это беспокоит:
Processing  /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/VarSrars/XY_Leo/XY_Leo-098_R_.fit
Exposure     7 sec, 07.01.2009 00:22:31 UT = JD 2454838.515671 (mid. exp.)
sex -c autodetect_aper.sex /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/VarSrars/XY_Leo/XY_Leo-098_R_.fit
sex -PHOT_APERTURES 12.4 /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/VarSrars/XY_Leo/XY_Leo-098_R_.fit
----- SExtractor 2.5.0 started on 2009-01-10 at 22:42:30 with 1 thread

Measuring from: " "  / 752 x 572 / 16 bits INTEGER data
(M+D) Background: 10137.4    RMS: 100.992    / Threshold: 201.983   
Objects: detected 169      / sextracted 54                     
> All done (in 1 s)
No similar triangles
        0 stars detected,     0 stars matched
Почему "0 stars detected, 0 stars matched" и кто такой "No similar triangles" ???

Вываливается после прогона всех файлов вот с такой кракозябриной:
Total number of measurements 0 (0 measurements stored in RAM)
writing lightcurve (outNNNN.dat) files...
MATCH_SUCESS=0
Writing summary file: vast_summary.log ...Ok
Images processed 99
Images used for photometry 1
Ref.  image: 2454838.472569 06.01.2009 23:20:27   /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/VarSrars/XY_Leo/XY_Leo-001_R_.fit
First image: 2454838.472569 06.01.2009 23:20:27   /mnt/loop1/AstroPhoto/qhy6/HEQ5ProSyntrek/VarSrars/XY_Leo/XY_Leo-001_R_.fit
Last  image: 2454838.516123 07.01.2009 00:23:10   
./find_candidates
Wiping out bad (nan) measurements... done!  =)
ERROR: There are no light curve files!!!
ERROR: There are no light curve files!!!
check by util/data_parser -
util/nopgplot.sh: line 12: data.m_sigma: Нет такого файла или каталога
mv: невозможно выполнить stat для `tmp': Нет такого файла или каталога
ERROR: Can't open data.m_sigma!
done =)
ERROR: Can't open file "data.m_sigma"!
Команда ISON

Оффлайн kirx

  • Активист
  • *****
  • Сообщений: 250
    • Просмотр профиля
    • E-mail
Ситуация проясняется: действительно, проблема в том, что мало звёзд - поэтому васту не удаётся отождествить кадры. А SExtractor видимо не оптимально настроен на обработку данной комбинации ПЗС+телескоп. Он пишет, что найдено 169 звёзд, а обработано только 54:
Objects: detected 169      / sextracted 54Т.е. 2/3 обнаруженных звёзд секстрактор посчитал шумом и отбросил не передав дальше васту.
Да, прости, забыл написать в прошлом посте - параметры DETECT_THRESH и ANALYSIS_THRESH в default.sex нужно менять вместе. Если они отличаются - это может вызвать разницу между detected и sextracted. А может быть большая часть того, что хватает трактор и правда не звёзды а шум... Если на кадре правда только 54 звезды, то васт может вообще не справится с такими данными, ему для нормальной работы нужна хотя бы сотня. :(

No similar triangles означает, что не удалось отождествить кадр, отождествление осуществляется поиском подобных треугольников.
        0 stars detected,     0 stars matched - не знаю, возможно это означает что секстрактор всем найденным звёздам проставляет плохие флаги (последняя колонка в файле test.cat, если не равна нулю - значит есть проблемы, васт такие звёзды не берёт), а может нули выдаются просто потому что отождествление не удалось.

Остальная ругань васта нормальна для ситуации, когда не удалось отождествить и обработать достаточное количество кадров.

Короче говоря, проблема в том, что секстрактор плохо находит звёзды. Это происходит либо потому, что их там просто нет (в нужном количестве), либо - потому, что настройки в default.sex плохо подходят для данного инструмента (телескоп+ПЗС).

Такие дела...  ::)
« Последнее редактирование: 11 января 2009, 00:07:16 от kirx »

Оффлайн ctac

  • Сотрудник ФПА Ка-Дар
  • *****
  • Сообщений: 8680
  • Короткий Стас
    • ICQ клиент - 340303332
    • Yahoo клиент - astrostas83
    • Просмотр профиля
    • E-mail
Повезло пересечься с Кирюхой и Саней Лебедевым в Москве и задать актуальный вопрос: "-А когда VAST начнет находить транзиенты?, А!?" ;)
 Вопрос был понят и принят. В ответ последовали идеи как это можно реализовать. Теперь ждем действия :)
Короткий Стас
 www.astroalert.su - новости!
 www.astromap.ru - Всё астрономические организации РФ и ближнего зарубежья

Оффлайн Иван Сергей

  • *
  • Сообщений: 46
    • Просмотр профиля
    • E-mail
Так версия под винду скоро появиться?

Оффлайн kirx

  • Активист
  • *****
  • Сообщений: 250
    • Просмотр профиля
    • E-mail
Учите линукс, ребята! ;)
Ясно, что у меня в обозримом будущем не будет времени сесть учится прогать под винду, а потом переписывать под неё васт. Если вдруг кто-то с опытом программирования под виндоус возьмётся перенести на них васт - может рассчитывать на мою всемерную поддержку и помощь. Но сам я это явно не потяну. Потому что сделать это очень сложно, а самому мне это не нужно. Сорри. :-\

Если нет желания устанавливать линукс ради васта - существует Knoppix, всякие виртуальные машины, Cygwin... При большом желании можно запустить васт не ставя линукс. Только это не отменяет необходимости уметь пользоваться линуксом хотя бы на самом элементарном уровне. В смысле команды cd, ls и make понадобятся полюбому! :)

Оффлайн kirx

  • Активист
  • *****
  • Сообщений: 250
    • Просмотр профиля
    • E-mail
Основная проблема VaST - сильно неинтуитивный интерфейс. Пытаясь как-то поправить положение я выложил на страницу программы несколько видеороликов (скринкастов) показывающих основные приёмы работы с VaST'ом.

Кроме того программа постепенно обновляется, исправляются баги. В новых версиях
  • улучшен алгоритм отождествления,
  • снято ограничение что звезда должна быть видна на опорном кадре чтобы быть записанной программой,
  • минимальное число кадров для обработки уменьшено с 40 до 5 (хотя как и раньше, чем больше снимков - тем лучше для поиска),
  • в архив программы включены несколько примеров файлов настройки SExtractor'а (default.sex) для нестандартных конфигураций оборудования (в частности для снимков с маленькими звёздами),
  • улучшена процедура привязки к абсолютной шкале звёздных величин с использованием одной или нескольких опорных звёзд.
В общем, программа постепенно становится лучше и надёжнее! :D

Ещё добавлен автоматический поиск транзиентов, но пока он работает в тестовом режиме и не слишком эффективно... :-\

Оффлайн kirx

  • Активист
  • *****
  • Сообщений: 250
    • Просмотр профиля
    • E-mail
Выпущенна новая (45) версия VaST'а. Теперь программа нормально компилируется под Ubuntu.