Форумът на Thorn

Всички правят така PCA.

https://pmc.ncbi.nlm.nih.gov/articles/P ... figure/F6/

https://pmc.ncbi.nlm.nih.gov/articles/P ... figure/F1/

Причината вече я описах. Eigenvectors се правят по модерните проби, защото те нямат загуба на SNPs. После се проектират древните проби, защото те имат загуби.

Кухулин 2.0 написа: ↑12 Авг 2025, 21:13

expeler написа: ↑12 Авг 2025, 20:39 Дръгнкаш глупости. Кои изследвания? Едно само цитирай.

Стояне, ние с Тантин се кълнем в теб, а ти - глупости...

This reveals that the first two PCs do not capture all the genetic variation relevant for European population structure. Consequently, approximating F3 by the first two or even 10 PCs (figure 4b) only gives a coarse approximation of F3, and from figure 4c we see that many higher PCs contribute to F3 statistics.

https://pmc.ncbi.nlm.nih.gov/articles/PMC9014194/

Впрочем, бачо Тантин едно време бичеше по 40 измерения, не знам дали не му пукна някой капиляр от тия упражнения

Капилярите са си добре и на място. Дори заякват от подобни упражнения.
Всъщност натоварването го отнася СПУ-то, компютъра. По някое време минах на по-мощния компютър, щото по-старичкия съвсем се задъхваше. На компютъра и алгоритмите им е все тая дали ще смятате за 5 или за 50 измерения. Повече натоварване идва за очите: щото като генерирате данните - после трябва да прегледате какво се е получило. И се почват едни въртения на точките в тримерното пространство Докато се ориентираме кой къде се е проектирал. Към даден момент данните стават "стандартни" и нищо ново не изскача. Горе долу всеки си намира правилното място в многомерното пространство.

expeler написа: ↑13 Авг 2025, 01:54 Двумерен е.

Картинките са двумерни, а изчисленията са в 10 измерения. Прочети статията или поне цитата, който постнах.

expeler написа: ↑13 Авг 2025, 11:44 Всички правят така PCA.

https://pmc.ncbi.nlm.nih.gov/articles/P ... figure/F6/

https://pmc.ncbi.nlm.nih.gov/articles/P ... figure/F1/

Причината вече я описах. Eigenvectors се правят по модерните проби, защото те нямат загуба на SNPs. После се проектират древните проби, защото те имат загуби.

Ако искаш да обхванеш с един поглед всички проби и да ги привържеш върху добре познат фон (картата на модерните популации), това е начинът. Точността пада, но за тази цел не е и нужна.

Ако искаш именно чрез ПСА да изследваш отношенията между няколко популации, не ти трябва фон, нито ти трябват други проби. Правиш ПСА върху тези снипове, които присъстват навсякъде (като maxmiss = 0 или allSNPs = false). Нe знам как е реализирано това в СмартПСА и дали е реализирано, не го ползвам.

Има и трети вариант, реализиран в Г25 - да се смята в много измерения. Така се получава задоволителна точност, ако знаеш какво правиш. На мен ми е достатъчна.

Кухулин 2.0 написа: ↑15 Авг 2025, 06:08 Ако искаш именно чрез ПСА да изследваш отношенията между няколко популации, не ти трябва фон, нито ти трябват други проби. Правиш ПСА върху тези снипове, които присъстват навсякъде (като maxmiss = 0 или allSNPs = false). Нe знам как е реализирано това в СмартПСА и дали е реализирано, не го ползвам.

Къде е ползвано така и от кого?

expeler написа: ↑15 Авг 2025, 13:01 Къде е ползвано така и от кого?

Ето ти пример от индоевропейското изследване на Лазаридис - чист ПСА именно с цел анализ, а не ала-бала:



This analysis is useful to create a non-model-based depiction of the populations included in the Base,
Sources, and Test lists. It includes populations surrounding the steppe but does not include the Test/Sources
populations so as to avoid any systematic difference between populations used to compute the PCA and
those projected on it.

От суплемента, стр. 151. Там е обяснено и как се прави в СмартПСА.

Като цяло обаче такива плотове се публикуват много рядко, защото трудно се анализират. В изследванията пишат директно qpAdm-моделите, без да обясняват как са стигнали до тях.

Кухулин 2.0 написа: ↑15 Авг 2025, 14:19 This analysis is useful to create a non-model-based depiction of the populations included in the Base,
Sources, and Test lists. It includes populations surrounding the steppe but does not include the Test/Sources
populations so as to avoid any systematic difference between populations used to compute the PCA and
those projected on it.

Пак генерират PCA по едни source populations но проектират други. Никой не прави като теб.

Кухулин 2.0 написа: ↑15 Авг 2025, 14:19

expeler написа: ↑15 Авг 2025, 13:01 Къде е ползвано така и от кого?

Ето ти пример от индоевропейското изследване на Лазаридис - чист ПСА именно с цел анализ, а не ала-бала:

This analysis is useful to create a non-model-based depiction of the populations included in the Base,
Sources, and Test lists. It includes populations surrounding the steppe but does not include the Test/Sources
populations so as to avoid any systematic difference between populations used to compute the PCA and
those projected on it.

От суплемента, стр. 151. Там е обяснено и как се прави в СмартПСА.

Като цяло обаче такива плотове се публикуват много рядко, защото трудно се анализират. В изследванията пишат директно qpAdm-моделите, без да обясняват как са стигнали до тях.

Кухулин, дебела глава си бил. Умен човек, но с тоя потресаващ инат да си прав - не знам. Виж какво ти казва изследването, което цитираш - We carried out principal components analysis in smartpca 25 using the following populations all represented
by in-solution enrichment data to form the axes and with parameters newshrink: YES and lsqproject: YES:
OberkasselCluster (set of trans-Alpine WHG individuals identified in13), Russia_Firsovo_N,
Iran_HajjiFiruz_C22, Iran_C_SehGabi5, Iran_C_TepeHissar26, Israel_C27, Germany_EN_LBK1,6,28,29

lsqproject: YES: - означава, че е използвана проекция, образците са прожектирани върху пространство дефинирано от други образци, които са там, но не ги виждаш, Те казват и върху кои образци са проектирани - ето тия - OberkasselCluster (set of trans-Alpine WHG individuals identified in13), Russia_Firsovo_N,
Iran_HajjiFiruz_C22, Iran_C_SehGabi5, Iran_C_TepeHissar26, Israel_C27, Germany_EN_LBK1,6,28,29; не само проекция има, (и не е чист пса, но ти, извинявай, като се заинатиш да вденеш нещо и си неудържим), има още нещо - координатите на проектираните образци са скалирани, това означава newshrink: YES , прекарани са, най-общо, през прокустово ложе така, че да не надхвърлят пространството, определено от июползваните за проекция образци (тия халколитните, които са дефинирали плота и позициите на проектираните образци спрямо тях. Т.е. тука имаш черно на бяло не само проектиране на образци върху "невидими" такива в плота, но и скалиране на координатите, които дори не са оригиналните изчислени координати. СЕга, не ти го казвам да ти натривам носа, а защото неумишлено заблуждаваш хората, защото си инат. Ти си знаеш де,предполагам, че се забавляваш заради спора и спорта и си правиш кефа, но си доста изобретателен и убедителен и подвеждаш всичко живо, а едва ли го искаш. Няма такова нещо като "чиста пса" и тая е проектирана и са го написали черно на бяло. Ама Тантин не бил поректирал като плотирал? Ами, има още много да учи, както и всеки един от нас, и скоро ще се научи, но някой трябва да го побутне за това. Иначе и аз правя пса-та без проекции, най-редовно, но за да станат читави координатите, трябва да почистя предварително списъка с образците от всичко с ниска резолюция,а и още много други неща, с които елиминирам половината образци едва ли не и пак не става толкова добре, колкото когато просто ги проектирам и така мога да видя и тези с ниските резолюции. Но, не казвам че директното плотиране, за което настояваш, не е полезно - полезно е за много неща, просто, аз наистина не съм видял някой да е публикувал плот, който да е непроектиран. Извинения за намесата и за тона, искрени, пиша го с уважение. За много неща си прав и то от пръв поглед, виждал съм как ти работи бързо главата и обикновено си прав. В случая - не е баш така. Но отново, въпреки че не си порав, директното плотиране всъщност може да е полезно, особено с добри образци,.

И аз се забавлявам като наблюдател. В случая...
Уважаемият от нас Кухулин досега ни един плот от ПСА не е направил. За голямо мое съжаление. Аз бях готов и все още съм готов да му дам напътствията как сам да си ги генерира тези данни и графики.. Но Кухулин си пази оставащите му неврони и има защо.. (Невроните ни имат свойството да гърмят като малки бушончета и после не подлежат на възстановяване, регенерация)..
В същото време има достатъчно други ПСА на разположение. Г25 е също така вид ПСА.. Сума ти хора вече са способни на си правят собствени ПСА..
Аз мога да генерирам ПСА данни по 2 различни начина: през смартПСА (което не го обичам никак) и през плинк. ( включително плинк МДС).
Достатъчно много съм експериментирал с ПСА . Отделно съм сравнявал данните по дадена проекция за ПСА със съответните данни по Ф4 със съответстващите индивиди. Горе долу си говорим за едно и също нещо..
Аз съм направил стотици подобни проекции , има ги данните назад по форумните истории. Може да се генерират още колкото си желаем подобни данни. Напоследък дори не си правя труда да генерирам подобни данни. Имам си моите залитания в други посоки.

Понеже Южняка се включи в спора: няма как да не се обадя и аз. Кухулин по принцип си ги говори стандартните приказки и не се отклонява много от mainstream.. Дори се учудвам защо Стоянчо и Южняка така му скачате..
Бачо Кухулине, май ще ти се наложи сам да си завъртиш някоя друга графика и да генерираш собствени ПСА данни.. Кажи кога си готов, да ти пратя някой друг скрипт.. Фасулска работа е. Сам ще се убедиш.

Южняк написа: ↑15 Авг 2025, 21:10 Кухулин, дебела глава си бил. Умен човек, но с тоя потресаващ инат да си прав - не знам.

(и не е чист пса, но ти, извинявай, като се заинатиш да вденеш нещо и си неудържим), има още нещо - координатите на проектираните образци са скалирани, това означава newshrink: YES , прекарани са, най-общо, през прокустово ложе така, че да не надхвърлят пространството, определено от июползваните за проекция образци (тия халколитните, които са дефинирали плота и позициите на проектираните образци спрямо тях. Т.е. тука имаш черно на бяло не само проектиране на образци върху "невидими" такива в плота, но и скалиране на координатите, които дори не са оригиналните изчислени координати. СЕга, не ти го казвам да ти натривам носа, а защото неумишлено заблуждаваш хората, защото си инат. Ти си знаеш де,предполагам, че се забавляваш заради спора и спорта и си правиш кефа, но си доста изобретателен и убедителен и подвеждаш всичко живо, а едва ли го искаш. Няма такова нещо като "чиста пса" и тая е проектирана и са го написали черно на бяло. Ама Тантин не бил поректирал като плотирал? Ами, има още много да учи, както и всеки един от нас, и скоро ще се научи, но някой трябва да го побутне за това. Иначе и аз правя пса-та без проекции, най-редовно, но за да станат читави координатите, трябва да почистя предварително списъка с образците от всичко с ниска резолюция,а и още много други неща, с които елиминирам половината образци едва ли не и пак не става толкова добре, колкото когато просто ги проектирам и така мога да видя и тези с ниските резолюции. Но, не казвам че директното плотиране, за което настояваш, не е полезно - полезно е за много неща, просто, аз наистина не съм видял някой да е публикувал плот, който да е непроектиран. Извинения за намесата и за тона, искрени, пиша го с уважение. За много неща си прав и то от пръв поглед, виждал съм как ти работи бързо главата и обикновено си прав. В случая - не е баш така. Но отново, въпреки че не си порав, директното плотиране всъщност може да е полезно, особено с добри образци,.

Относно скалиране (без скалиране) : това не променя чак толкова драстично координатната система.
Самия скалар, с който се модифицират координатите е доста интересно избран. Имам го някъде като формула. Също така го ползвам. Но това не е изобщо решаващото.
При изобразяване на графиките: ggplot / plotly software автоматично прави подобно скалиране, тоест нагласяне на мащаба по координатните оси. И това което наблюдаваме при единия случай (скалирани координати) или в другия случай (без скалирането) горе долу се изобразява на графиката по един и същ начин.
Ако сте забелязали : в Г25 също дават и двата вида координати: със скалиране и без скалиране.
Понеже Г25 си е все същото ПСА и се ползва същия софтуер.

Относно: " неумишлено заблуждаваш хората" - чудя се кой ли е този дето вкарва хората в заблудите ? И кой е този дето не държи на критика и чуждото мнение ? Май много добре си го познаваме.. Разбра ли ме добре Кухулине ? Стига си вкарвал хората в заблуди вече ? Вземи се кротни и повече поклон на местните авторитети и старците

Южняк написа: ↑15 Авг 2025, 21:10 Виж какво ти казва изследването, което цитираш - We carried out principal components analysis in smartpca 25 using the following populations all represented
by in-solution enrichment data to form the axes and with parameters newshrink: YES and lsqproject: YES:
OberkasselCluster (set of trans-Alpine WHG individuals identified in13), Russia_Firsovo_N,
Iran_HajjiFiruz_C22, Iran_C_SehGabi5, Iran_C_TepeHissar26, Israel_C27, Germany_EN_LBK1,6,28,29

lsqproject: YES: - означава, че е използвана проекция, образците са прожектирани върху пространство дефинирано от други образци, които са там, но не ги виждаш, Те казват и върху кои образци са проектирани - ето тия - OberkasselCluster (set of trans-Alpine WHG individuals identified in13), Russia_Firsovo_N,
Iran_HajjiFiruz_C22, Iran_C_SehGabi5, Iran_C_TepeHissar26, Israel_C27, Germany_EN_LBK1,6,28,29;

Както казах, не ползвам СмартПСА и не и познавам настройките. Сигурно си прав. Но ако си прав, то:

1) Лазаридис дефинира пространството чрез стари проби.
2) Тези стари проби са с липсващи снипове.

Тоест, не знам за какво е цялата ти поезия по-горе. Напомням: според Стоян скелетът трябва да се гради от съвременни проби без липсващи снипове, защото всички така правят.

Важното в цялата работа е да се разбере принципът, на който работят нещата. Че проектираните проби са хронично неточни и ако е възможно, трябва да се избягват.

expeler написа: ↑15 Авг 2025, 13:01 има още нещо - координатите на проектираните образци са скалирани, това означава newshrink: YES , прекарани са, най-общо, през прокустово ложе така, че да не надхвърлят пространството, определено от июползваните за проекция образци (тия халколитните, които са дефинирали плота и позициите на проектираните образци спрямо тях. Т.е. тука имаш черно на бяло не само проектиране на образци върху "невидими" такива в плота, но и скалиране на координатите, които дори не са оригиналните изчислени координати.

Скалирането не е такъв проблем, защото променя всички дистанции линейно. А проектирането де факто завърта пространството на базовите проби спрямо пространството на проектираните. Главните компоненти на двете групи са под ъгъл.

Южняк написа: ↑15 Авг 2025, 21:10 Няма такова нещо като "чиста пса"
...
Иначе и аз правя пса-та без проекции, най-редовно

Хм.

Южняк написа: ↑15 Авг 2025, 21:10 Но отново, въпреки че не си порав, директното плотиране всъщност може да е полезно, особено с добри образци,.

Аз, прощавай за ината , така и не разбрах - в кое не съм прав? Примерът ми от Лазаридис не е 100% удачен, окей. В останалото обаче даже ти, въпреки цялата си "красива" реторика, потвърждаваш моята позиция. Иначе защо според теб може да е полезно директното плотиране?

Проблема с ползване на скалирани / нескалирани резултати е съвсем друг.
Да речем че матрицата или основния скелет с данни е получен със скалирани резултати..
После се прави проекция на древни / или съвремени индивиди/. Ползва се наготово матрицата. Но резултатите са нескалирани. Тоест мащаба е друг.
За да може да обединим основната матрица с проециите - трябва да приравним мащаба. Налага се да се ползва един и същ мащаб, иначе данните са пълна глупост. Този проблем със мащаба / скалирането/ е особено ясно изразен при ползване на plink . Но от друга страна смартПСА работи по същия начин. Дори разработчика на тези софтуери е един и същ човек. Или екипа им. Да не ви давам грешната информация - можете да проверите кой го е направил този софтуер и съответните инструкции по него. Аз определено предпочитам plink пред смартПСА. Но в крайна сметка резултатите и по двата начина са идентични. Разбира се има значение кой ще ползваме като основна матрица, какво параметри ще зададем, каква база данни и прочие. Софтуера обаче си изчислява по същите алгоритми и по същия начин.

Кухулин 2.0 написа: ↑16 Авг 2025, 07:05
Напомням: според Стоян скелетът трябва да се гради от съвременни проби без липсващи снипове, защото всички така правят.

Важното в цялата работа е да се разбере принципът, на който работят нещата. Че проектираните проби са хронично неточни и ако е възможно, трябва да се избягват.

Остави го Стоян какво казва.
"всички така правят" изобщо не е принцип и критерии за тези неща.
Но че всички се опитват да се нагодят към "3-компонентния модел" на Лазаридис - това се е превърнало почти като негласно правило.
Понеже като ги видим на картинката WHG, CHG, EEF -нещата стават много по-ясни за разбиране, за предъвкване.
Много трудно обаче ще докараш западните ловци и събирачи на графиката, ако ползваш съвременниците. Щото няма сега ни един валиден жив представител на тези ловци. А от древните имаме предостатъчно, при това качеството на пробите е съизмеримо с това на живите хора.

Отделно Денисовеца или Неандерталците : тях няма как да ги сложим на ПСА ако ползваме съвременниците. Но пък ако сте забелязали - никой не ги слага тези изчезнали вече по ПСА графиките. А не че не можем.. Можем и още как.

Tantin написа: ↑15 Авг 2025, 22:20 Уважаемият от нас Кухулин досега ни един плот от ПСА не е направил. За голямо мое съжаление. Аз бях готов и все още съм готов да му дам напътствията как сам да си ги генерира тези данни и графики.. Но Кухулин си пази оставащите му неврони и има защо.. (Невроните ни имат свойството да гърмят като малки бушончета и после не подлежат на възстановяване, регенерация)..
В същото време има достатъчно други ПСА на разположение. Г25 е също така вид ПСА.. Сума ти хора вече са способни на си правят собствени ПСА..
Аз мога да генерирам ПСА данни по 2 различни начина: през смартПСА (което не го обичам никак) и през плинк. ( включително плинк МДС).
Достатъчно много съм експериментирал с ПСА . Отделно съм сравнявал данните по дадена проекция за ПСА със съответните данни по Ф4 със съответстващите индивиди. Горе долу си говорим за едно и също нещо..
Аз съм направил стотици подобни проекции , има ги данните назад по форумните истории. Може да се генерират още колкото си желаем подобни данни. Напоследък дори не си правя труда да генерирам подобни данни. Имам си моите залитания в други посоки.

Понеже Южняка се включи в спора: няма как да не се обадя и аз. Кухулин по принцип си ги говори стандартните приказки и не се отклонява много от mainstream.. Дори се учудвам защо Стоянчо и Южняка така му скачате..
Бачо Кухулине, май ще ти се наложи сам да си завъртиш някоя друга графика и да генерираш собствени ПСА данни.. Кажи кога си готов, да ти пратя някой друг скрипт.. Фасулска работа е. Сам ще се убедиш.

По принцип моето мнение е, че няма нужда всеки от нас да се занимава с всичко. Достатъчно хора сме, за да може всеки да си има "профил". Като ми трябва ИБД, питам Александър. Като ми трябва плот, питам теб. Ако по някаква причина не става в Г25 де. Навремето, като се занимавахме активно с тия генетики, сигурно стотина пъти съм имал нужда от помощ с плотовете. Сега не толкова - вече съм си оптимизирал "начина на работа"

Виж, с Южняка комуникацията е по-сложна, но така е - професионалистите си имат особености. Особено като са горе-долу сами в държавата

А ако някой ден обезателно ми потрябва "правилен" ПСА и няма кой да го пусне, ще трябва да пожертвам няколко неврончета. Няма начин

Tantin написа: ↑16 Авг 2025, 07:20 Но че всички се опитват да се нагодят към "3-компонентния модел" на Лазаридис - това се е превърнало почти като негласно правило.
Понеже като ги видим на картинката WHG, CHG, EEF -нещата стават много по-ясни за разбиране, за предъвкване.
Много трудно обаче ще докараш западните ловци и събирачи на графиката, ако ползваш съвременниците. Щото няма сега ни един валиден жив представител на тези ловци. А от древните имаме предостатъчно, при това качеството на пробите е съизмеримо с това на живите хора.

Отделно Денисовеца или Неандерталците : тях няма как да ги сложим на ПСА ако ползваме съвременниците. Но пък ако сте забелязали - никой не ги слага тези изчезнали вече по ПСА графиките. А не че не можем.. Можем и още как.

Лично аз с времето съм все по-скептичен към "компонентния анализ". Грешките са огромни. Навремето му бях голям фен, понеже от него се учих (с помощта на Южняка и Южната дъга). Пет компонента, шест компонента - не анализ, а песен. Днес съм крайно предпазлив към тези неща. Имат доста ограничена сфера на "полезност".

Tantin написа: ↑16 Авг 2025, 06:41 Относно: " неумишлено заблуждаваш хората" - чудя се кой ли е този дето вкарва хората в заблудите ? И кой е този дето не държи на критика и чуждото мнение ? Май много добре си го познаваме.. Разбра ли ме добре Кухулине ? Стига си вкарвал хората в заблуди вече ? Вземи се кротни и повече поклон на местните авторитети и старците

Е, с Южняка вече си знаем и кътните зъби, та сме си свикнали на пируетите. Лично аз нямам нищо против заядливия му тон и другите психоособености, стига да има полза от дискусията. Никой от нас не е идеален.

Като гледам в статиите задават следните въпроси.
On the scale of all western Eurasia modern populations, map X, Y, Z.
On the scale of all western Eurasia ancient border populations, map X, Y, Z.

Само вие тук задавате въпроса.
On the scale of X, Y, Z map X, Y, Z.

И твърдите, че има смисъл. Е няма. Върти, сучи, бягай по тъча. Въпросът няма смисъл.

Кухулин 2.0 написа: ↑16 Авг 2025, 07:32 Лично аз с времето съм все по-скептичен към "компонентния анализ". Грешките са огромни. Навремето му бях голям фен, понеже от него се учих (с помощта на Южняка и Южната дъга). Пет компонента, шест компонента - не анализ, а песен. Днес съм крайно предпазлив към тези неща. Имат доста ограничена сфера на "полезност".

И аз вече не им обръщам внимание на тези шарени картинки с ивиците, дето все още ги слагат тук и там. Така наречените "компоненти" са в общи линии случаен брой, авторите ги слагат по техни си неясни критерии. Софтуера го прави това изчисление автоматично.
При определени условия този метод може да бъде ползван, но в масовите публикации ползата от тоя инструмент е никаква.

В споделената горе статия за оценката му се твърди че резултатите са сходни с f3/f4. Така че върши работа, когато се използва правилно.

expeler написа: ↑16 Авг 2025, 10:45 Като гледам в статиите задават следните въпроси.
On the scale of all western Eurasia modern populations, map X, Y, Z.
On the scale of all western Eurasia ancient border populations, map X, Y, Z.

Само вие тук задавате въпроса.
On the scale of X, Y, Z map X, Y, Z.

И твърдите, че има смисъл. Е няма. Върти, сучи, бягай по тъча. Въпросът няма смисъл.

Нещо много го засука и нищо не се разбира. Няма нужда да го сучеш толкова. То стана като оня виц - няма смисъл да се правиш на евреин, понеже тук всички са евреи

Поставена е някаква задача, съответно се търси ефективно решение. Едни решават задачата по един начин, други я решават по друг начин. Да четеш статията и да разбереш как решават задачата - това само по себе си е важно. Да се разбере, а не просто да се чете. А има ли смисъл, няма ли - това после.

expeler написа: ↑16 Авг 2025, 16:19 В споделената горе статия за оценката му се твърди че резултатите са сходни с f3/f4. Така че върши работа, когато се използва правилно.

В статията се оценява анализът на главните компоненти (ПСА), а ние говорим за анализ по qpAdm-компоненти (примерно ИЕЛС, ЗЛС, КЛС, Неолит, Левант по Лазаридис).