Форумът на Thorn

​
On 30.07.2024 г. at 21:47, Кухулин said:

На мен лично не ми се занимава да мерджвам нови проби към базата - трябва линукс, трябва време, а в момента нямам нищо от това. Гледам, че и на Райх не му се занимава, защото последната версия още си седи от април 23-та. Освен бачо Tантин да вземе да компилира една нова база 8-9 гиги и да я качи някъде ...  

Като оставим това настрана, според мен вече на всички е ясно, че късноантичният европейски субстрат в прабългарите е масивен. Аз чакам с голям интерес как ще се разреши другият въпрос - има ли късноантичен балкански субстрат в дунавските прабългари от 8-9 век. Изобщо няма да се учудя, ако на диаграмите цъфнат едни 20-30% напук на всички хипотези за хиатус и обезлюдяване. Дано да не цъфнат и 99% като в някои маджарски популации, че тогава ще го закъсаме.

Значи базата не е 8-9 гиг, а е около 3-4 Г.
Не е толкова сложно за качване .
По-скоро помисли какво искаш да има в тази база. Аз имам предпочитание към предната база V52.2.
Погледни данните в Посейдон:
https://github.com/poseidon-framework/c ... ree/master
Прецени какво да сложим в голямата база преди да съм ги мърджнал и шеървал.
Отделно че към тази база може да вкарваме съвременници. Вече правих такива проби с 5-6 нашенци. Автохон също може да допринесе още.
​

Tantin написа: ↑01 Авг 2024, 19:20 По-скоро помисли какво искаш да има в тази база. Аз имам предпочитание към предната база V52.2.​

В идеалния случай трябва да има всичко. Тоест да се добавят всички проби от последната база насам. Тя е 54.1 и май бяха към 10к стари проби. Оттогава сигурно още толкова са секвенирани.

А иначе... сръбските, руските, унгарските проби... знам ли какво ще потрябва...

Кухулин 2.0 написа: ↑02 Авг 2024, 06:17

Tantin написа: ↑01 Авг 2024, 19:20 По-скоро помисли какво искаш да има в тази база. Аз имам предпочитание към предната база V52.2.​

В идеалния случай трябва да има всичко. Тоест да се добавят всички проби от последната база насам. Тя е 54.1 и май бяха към 10к стари проби. Оттогава сигурно още толкова са секвенирани.

А иначе... сръбските, руските, унгарските проби... знам ли какво ще потрябва...

Колкото по-голяма става базата, по-тежка става, и за качване и за обработка. Отделно че се появяват и едни бъгове в Адмикс-тоолс, но това за бъговете е отделен въпрос.
И още нещо има: много от пробите са с много липсващи снипове, няма голям смисъл да се слагат тия дето са с покритие едва 5% и по-малко. Тия сметки имат смисъл само ако пробите са с прилично покритие, примерно поне към 50% да имат.

Имаме също 2 бази на Райх. Едната е с 600к покритие, а другата е с 1230к покритие, двойно повече. Броя на индивидите в пълната база е по-малък, някъде около 12к .

Tantin написа: ↑02 Авг 2024, 06:47 Колкото по-голяма става базата, по-тежка става, и за качване и за обработка.

Аз бих се радвал да има пълна база, от която всеки може да си отдели само пробите, които го интересуват. Имам скрипт за това, който ползва програмата convertf.

Tantin написа: ↑02 Авг 2024, 06:47 Имаме също 2 бази на Райх. Едната е с 600к покритие, а другата е с 1230к покритие, двойно повече. Броя на индивидите в пълната база е по-малък, някъде около 12к .

"Пълната база" включва малко съвременни индивиди.

"Непълната база" с 600к покритие също е достатъчна.

Поддържането на голямата база си има множество предизвикателства.
Примерно няма голям смисъл да слагаме тези с ниското покритие при тези с многото снипове (1230к)
Много малка част от ново-излизащите проби са с добро качество на покритие. Изключително малка част са такива.
За какво да ги наблъскваме такива в голямата база, след като не стават.

За общи цели обаче можем да си ги добавяме в HO базата, тия с 600к снипове.
Тая база (хюман ориджин) са вече около 20 хиляди индивида и има премного други достъпни.
Включително всякакви нови дето се правят през 23andme и другите комерсиални сайтове.

Напоследък обаче всякакви съвременни проби почнаха да ги слагат в някакъв си нов европейски проект и контролират достъпа до тези данни, изискват научен проект, одобрение на ръководител и институцията и всякакви други бюрократични подробности.

Специално за Кухулин.
Слагам конвертираната база V52.2. Пълната версия с 1240к.
12651 индивида.
Формат на данните: packed ped. /plink/ bed, bim, fam.
В този формат вече можеш съвсем лесно да мърджваш тези данни с които си пожелаеш , но да са от същия тип: тоест също бед/бим/фам.
А такива достъпни и вече конвертирани данни имаш на сайта на Посейдон.
Виж: https://github.com/poseidon-framework/c ... ree/master.

За самото смесване на голямата база : ползва се една малка програмка плинк, която е достъпна и под линунк и под Уиндоус.
Препоръчвам предната версия на плинк v1.9
PLINK v1.90b6.24 64-bit (6 Jun 2021)

За плинк има предостатъчно инструкции и упътвания как да се ползва.
https://www.cog-genomics.org/plink/1.9/help
Много е лека и лесна за ползване. Дирекно в Р-студиото.

Пример за вграждането на плинк в Р-студио скриптовете:
system("plink --bfile your_geno_file_name ")

А ето и конвертиранта база:

bed_file
bim_file
fam_file

Да речем че искаш да тестваш с данните за 2023_Penske_EarlyContact .
Отиваш:
https://github.com/poseidon-framework/c ... rlyContact
Даунлоудваш бед/бим/фам файловете: 2023_Penske_EarlyContact.fam. (3-те файла).

Слагаш ги в една и съща директория с голямата база: (v52.2_1240K_public. бед бим fam)
В същата директория слагаш и plink.

След това мерджваш данните:

Командата е следната:

plink --bfile v52.2_1240K_public --bmerge 2023_Penske_EarlyContact --make-bed --out Your_new_file_name


И това е всичко. Дори можеш да стартираш командата директно от ДОС промпт.
Но за бъдещи цели можеш да си я вкараш в Р-студиото на скрипт.
Плинк търси тези работни файлове в същата директория, или в работната ти директория на Р-студиото.
Затова е важно да ги имаш заедно в същия фолдер, или пък да укажеш пътя.
Смесването / мердж/ става за някакви си минутки, 5-10 зависи от файловете и бързината на компа. Но конвериранто е по-бавно.
Веднъж като имаш новия файл няма нужда да се прави друго конвертиране. Адмикс тулс директно си работи с packetped файловете / бед/бим/фам/. Единствено в пътя за адмикстулс указваш новия файл със смесените данни.

Ако искаш алани - добавяш си аланите. Ако искаш унгарците - имаш ги и тях. Ако искаш и ако ти се занимава добавяш всичките възможни. Но за начало пробвай само с едни и полека лека ще свикнеш.

Това галакси, дето съм сложил файловете за достъп леко ги преименува. При даунлоудване те идват с леко сменени имена:
Galaxy14-[v52.2_1240K_public.bim].txt
Такъв един файл ще му промените името в това, което е в скобите: v52.2_1240K_public.bim
И това го правите и за 3-те файла.
Това е така, щото иначе е много трудно как да шеървам такъв голям файл с 4 ГБ големина. А този сайт ми позволява лесно да ви го пратя.

Ето един пример за ползване на плинк директно от команд промпт:

D:\Documents\TEMP1\plink.exe --bfile geno\v52.2_1240K_public --missing --out TEMP123

D:\Documents\TEMP1\plink.exe --bfile geno\v52.2_1240K_public --missing --out TEMP123
PLINK v1.90b6.24 64-bit (6 Jun 2021) www.cog-genomics.org/plink/1.9/
(C) 2005-2021 Shaun Purcell, Christopher Chang GNU General Public License v3
Logging to TEMP123.log.
Options in effect:
--bfile geno\v52.2_1240K_public
--missing
--out TEMP123

16263 MB RAM detected; reserving 8131 MB for main workspace.
1233013 variants loaded from .bim file.
12651 people (7022 males, 5425 females, 204 ambiguous) loaded from .fam.
Ambiguous sex IDs written to TEMP123.nosex .
12651 phenotype values loaded from .fam.
Warning: Ignoring phenotypes of missing-sex samples. If you don't want those
phenotypes to be ignored, use the --allow-no-sex flag.
Using 1 thread (no multithreaded calculations invoked).
Before main variant filters, 12651 founders and 0 nonfounders present.
Calculating allele frequencies... done.
Warning: 300 het. haploid genotypes present (see TEMP123.hh ); many commands
treat these as missing.
Warning: Nonmissing nonmale Y chromosome genotype(s) present; many commands
treat these as missing.
Total genotyping rate is 0.575353.
--missing: Sample missing data report written to TEMP123.imiss, and
variant-based missing data report written to TEMP123.lmiss.

Това е като стартираме в Уиндоус средата. Ако обаче стартираме от Р-студиото в Р-студиото се ползва Линукс означението за директории, тоест обратния slash

Ето пример за плинк команда, изпълнена в Р-студиото: (вижда се че слаш-знака е с обратната посока).

plink --memory 12000 --threads 2 --bfile ../CentralData/GenoCenter/DataCentral_1.5_temp --chr 22 --missing --out ../../genetics/template/Berber_1240/missing_22"

Tantin, благодаря ти много. Като остане време, ще проуча нещата.

Кухулин 2.0 написа: ↑03 Авг 2024, 10:52 Tantin, благодаря ти много. Като остане време, ще проуча нещата.

Успя ли да ги свалиш тези големите файлове? (бед, бим, фам)
Слагаш ги на някой външен USB drive, да не ти заемат място по компютрите и може директно на USB drive да си ги обработваш. За предпочитане да е бърз харддиск, SSD hard drive, така скоростта на обработка е същата както ако е ти е на компа.

Tantin написа: ↑04 Авг 2024, 04:24

Кухулин 2.0 написа: ↑03 Авг 2024, 10:52 Tantin, благодаря ти много. Като остане време, ще проуча нещата.

Успя ли да ги свалиш тези големите файлове? (бед, бим, фам)

За съжаление сега нямам време да се вдълбочавам в тези операции. Максимум да пусна някой кпАдм и това е.

Tantin написа: ↑01 Авг 2024, 19:20 Като оставим това настрана, според мен вече на всички е ясно, че късноантичният европейски субстрат в прабългарите е масивен. Аз чакам с голям интерес как ще се разреши другият въпрос - има ли късноантичен балкански субстрат в дунавските прабългари от 8-9 век.

30-50%

expeler написа: ↑04 Авг 2024, 23:38

Tantin написа: ↑01 Авг 2024, 19:20 Като оставим това настрана, според мен вече на всички е ясно, че късноантичният европейски субстрат в прабългарите е масивен. Аз чакам с голям интерес как ще се разреши другият въпрос - има ли късноантичен балкански субстрат в дунавските прабългари от 8-9 век.

30-50%

Какъв индивид или индивиди си обозначил на картинката като pBulgarian и какви като pThracian?

expeler написа: ↑04 Авг 2024, 23:38
30-50%

Интересна графика. Аз също имам един въпрос. Какво означават нулите между „Yamnaya“ и „Yamnaya2“, както и между „Early_Farmers“ и „Early_Farmers2“?

Да кажем Добре дошъл на човека. Знаете кои кой е. Тука си щадиме нервите и нямаме нужда от модерация а-ла-южняка.
Човека се възстановява след труден период. Така че няма да го провокираме.
Радвам се че групата на ентусиастите се увеличава.

expeler написа: ↑04 Авг 2024, 23:38

Tantin написа: ↑01 Авг 2024, 19:20 Като оставим това настрана, според мен вече на всички е ясно, че късноантичният европейски субстрат в прабългарите е масивен. Аз чакам с голям интерес как ще се разреши другият въпрос - има ли късноантичен балкански субстрат в дунавските прабългари от 8-9 век.

30-50%

Хм. Хипотезата, че съвременните българи нямат нищо общо с българския халколит, на мен лично ми се вижда съмнителна.

avtohton.org написа: ↑05 Авг 2024, 08:19 Какъв индивид или индивиди си обозначил на картинката като pBulgarian

Струва ми се, че тези pBulgarian ще да са някакъв вид славяни.

Аз само не разбрах, кои са тези прабългари, за които говорите.

Thorn написа: ↑11 Авг 2024, 01:08 Аз само не разбрах, кои са тези прабългари, за които говорите.

=>

Кухулин 2.0 написа: ↑08 Авг 2024, 06:18 Струва ми се, че тези pBulgarian ще да са някакъв вид славяни.

=>


Малко груб неделнишки модел и трябва да се уточни, но като цяло схемата е ясна