Jan 01, 1970
د RAG لپاره د پوهې ګرافونو جوړول: د Neo4j او LangChain سره د ګرافراګ سپړنه لخوا@neo4j
نوی تاریخ
د RAG لپاره د پوهې ګرافونو جوړول: د Neo4j او LangChain سره د ګرافراګ سپړنه
لخوا Neo4j32m2024/10/22
ډېر اوږد؛ لوستل
دا مقاله د Neo4j او LangChain په کارولو سره د "سیمه ایز څخه نړیوال ته" د ګرافراګ پایپ لاین پلي کول لټوي. دا د متن څخه د پوهې ګرافونو جوړولو پروسه پوښي، د لوی ژبو ماډلونو (LLMs) په کارولو سره د ادارو د ټولنو لنډیز، او د LLM پر بنسټ لنډیز سره د ګراف الګوریتمونو په یوځای کولو سره د بیا ترلاسه کولو-Augmented Generation (RAG) دقت لوړول. دا طریقه د ډیری سرچینو څخه معلومات په جوړښت شوي ګرافونو کې راټولوي او د طبیعي ژبې لنډیزونه رامینځته کوي، د پیچلو معلوماتو بیرته ترلاسه کولو لپاره یو اغیزمن میتود وړاندې کوي.
په پایپ لاین کې ګامونه - د څخه عکس، د CC BY 4.0 لاندې جواز شوی
لیست کول - د ګراف تولید
- د سرچینې اسناد د متن ټوټو ته : د سرچینې اسناد د پروسس کولو لپاره په کوچنیو متنونو ویشل شوي دي.
- د عناصرو مثالونو ته د متن ټوټې : د متن هره برخه د ادارو او اړیکو استخراج لپاره تحلیل کیږي، د ټپلونو لیست تولیدوي چې د دې عناصرو استازیتوب کوي.
- د عنصر لنډیزونو ته د عنصر مثالونه : استخراج شوي ادارې او اړیکې د LLM لخوا د هر عنصر لپاره د توضیحي متن بلاکونو کې لنډیز شوي.
- د ګراف ټولنو ته د عنصر لنډیزونه : دا د وجود لنډیزونه یو ګراف جوړوي، چې بیا وروسته په ټولنو کې ویشل کیږي لکه الګوریتمونه لکه د درجه بندي جوړښت لپاره.
- د ټولنې لنډیزونو ته ګراف ټولنې : د هرې ټولنې لنډیز د LLM سره رامینځته کیږي ترڅو د ډیټاسیټ نړیوال موضوعي جوړښت او سیمانټیک پوه شي.
ترلاسه کول - ځواب ورکول
- نړیوال ځوابونو ته د ټولنې لنډیز : د ټولنې لنډیز د منځګړیتوب ځوابونو په جوړولو سره د کارونکي پوښتنې ته د ځواب ویلو لپاره کارول کیږي، کوم چې بیا په وروستي نړیوال ځواب کې راټول شوي.
د Neo4j چاپیریال تنظیم کول
موږ به Neo4j د اصلي ګراف پلورنځي په توګه وکاروو. د پیل کولو ترټولو اسانه لار د وړیا مثال کارول دي، کوم چې د ګراف ډیټا ساینس پلگ ان نصب سره د Neo4j ډیټابیس کلاوډ مثالونه وړاندې کوي. په بدیل سره ، تاسو کولی شئ د غوښتنلیک ډاونلوډ کولو او د ځایی ډیټابیس مثال رامینځته کولو سره د Neo4j ډیټابیس ځایی مثال تنظیم کړئ. که تاسو محلي نسخه کاروئ، ډاډ ترلاسه کړئ چې دواړه APOC او GDS پلگ ان نصب کړئ. د تولید تنظیماتو لپاره ، تاسو کولی شئ تادیه شوي ، اداره شوي AuraDS (ډیټا ساینس) مثال وکاروئ ، کوم چې د GDS پلگ ان چمتو کوي.
from langchain_community.graphs import Neo4jGraph os.environ["NEO4J_URI"] = "bolt://44.202.208.177:7687" os.environ["NEO4J_USERNAME"] = "neo4j" os.environ["NEO4J_PASSWORD"] = "mast-codes-trails" graph = Neo4jGraph(refresh_schema=False)ډیټاسیټ
موږ به د خبر مقالې ډیټاسیټ وکاروو چې ما یو څه وخت دمخه د Diffbot د API په کارولو سره رامینځته کړی. ما دا زما GitHub ته د اسانه بیا کارولو لپاره اپلوډ کړی دی:
news = pd.read_csv( "//raw.githubusercontent.com/tomasonjo/blog-datasets/main/news_articles.csv" ) news["tokens"] = [ num_tokens_from_string(f"{row['title']} {row['text']}") for i, row in news.iterrows() ] news.head()
د متن ټوټې کول
د متن ټوټې کولو ګام خورا مهم دی او د پام وړ د لاندې پایلو اغیزه کوي. د کاغذ لیکوالانو وموندله چې د کوچني متن ټوټو کارول په ټولیز ډول د ډیرو ادارو استخراج پایله لري.
د استخراجي ادارو شمیر چې د متن ټوټو اندازه ورکول کیږي — د څخه عکس چې د CC BY 4.0 لاندې جواز لري
sns.histplot(news["tokens"], kde=False) plt.title('Distribution of chunk sizes') plt.xlabel('Token count') plt.ylabel('Frequency') plt.show()
د نوډونو او اړیکو استخراج
بل ګام د متن ټوټو څخه پوهه جوړول دي. د دې کارونې قضیې لپاره، موږ د متن څخه د نوډونو او اړیکو په بڼه جوړښت شوي معلومات استخراج لپاره LLM کاروو. تاسو کولی شئ د معاینه کړئ هغه لیکوالان چې په کاغذ کې کارول شوي. دوی د LLM وړاندیزونه لري چیرې چې موږ کولی شو د اړتیا په صورت کې د نوډ لیبل تعریف کړو ، مګر په ډیفالټ ، دا اختیاري دی. برسیره پردې، په اصلي اسنادو کې استخراج شوي اړیکې واقعیا یو ډول نه لري، یوازې یو توضیح. زه فکر کوم چې د دې انتخاب تر شا دلیل دا دی چې LLM ته اجازه ورکړي چې د اړیکو په توګه بډایه او خورا مهم معلومات استخراج او وساتي. مګر دا ستونزمنه ده چې د پاکې پوهې ګراف ولرئ پرته له دې چې د اړیکو ډول ډول مشخصات ولري (تفصیلات کیدای شي ملکیت ته لاړ شي).
from langchain_experimental.graph_transformers import LLMGraphTransformer from langchain_openai import ChatOpenAI llm = ChatOpenAI(temperature=0, model_name="gpt-4o") llm_transformer = LLMGraphTransformer( llm=llm, node_properties=["description"], relationship_properties=["description"] ) def process_text(text: str) -> List[GraphDocument]: doc = Document(page_content=text) return llm_transformer.convert_to_graph_documents([doc])
په دې مثال کې، موږ د ګراف استخراج لپاره GPT-4o کاروو. لیکوالان په ځانګړې توګه LLM ته لارښوونه کوي چې . د LangChain تطبیق سره، تاسو کولی شئ د node_properties او relationship_properties ځانګړتیاوې وکاروئ ترڅو مشخص کړئ چې کوم نوډ یا د اړیکو ملکیتونه تاسو غواړئ چې LLM استخراج کړئ.
د LLMGraphTransformer تطبیق سره توپیر دا دی چې ټول نوډ یا د اړیکو ملکیت اختیاري دي، نو ټول نوډونه به د description ملکیت ونه لري. که موږ وغواړو، موږ کولی شو یو دودیز استخراج تعریف کړو ترڅو د اجباري description ملکیت ولري، مګر موږ به دا په دې تطبیق کې پریږدو.
MAX_WORKERS = 10 NUM_ARTICLES = 2000 graph_documents = [] with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor: # Submitting all tasks and creating a list of future objects futures = [ executor.submit(process_text, f"{row['title']} {row['text']}") for i, row in news.head(NUM_ARTICLES).iterrows() ] for future in tqdm( as_completed(futures), total=len(futures), desc="Processing documents" ): graph_document = future.result() graph_documents.extend(graph_document) graph.add_graph_documents( graph_documents, baseEntityLabel=True, include_source=True )
entity_dist = graph.query( """ MATCH (d:Document) RETURN d.text AS text, count {(d)-[:MENTIONS]->()} AS entity_count """ ) entity_dist_df = pd.DataFrame.from_records(entity_dist) entity_dist_df["token_count"] = [ num_tokens_from_string(str(el)) for el in entity_dist_df["text"] ] # Scatter plot with regression line sns.lmplot( x="token_count", y="entity_count", data=entity_dist_df, line_kws={"color": "red"} ) plt.title("Entity Count vs Token Count Distribution") plt.xlabel("Token Count") plt.ylabel("Entity Count") plt.show()
degree_dist = graph.query( """ MATCH (e:__Entity__) RETURN count {(e)-[:!MENTIONS]-()} AS node_degree """ ) degree_dist_df = pd.DataFrame.from_records(degree_dist) # Calculate mean and median mean_degree = np.mean(degree_dist_df['node_degree']) percentiles = np.percentile(degree_dist_df['node_degree'], [25, 50, 75, 90]) # Create a histogram with a logarithmic scale plt.figure(figsize=(12, 6)) sns.histplot(degree_dist_df['node_degree'], bins=50, kde=False, color='blue') # Use a logarithmic scale for the x-axis plt.yscale('log') # Adding labels and title plt.xlabel('Node Degree') plt.ylabel('Count (log scale)') plt.title('Node Degree Distribution') # Add mean, median, and percentile lines plt.axvline(mean_degree, color='red', linestyle='dashed', linewidth=1, label=f'Mean: {mean_degree:.2f}') plt.axvline(percentiles[0], color='purple', linestyle='dashed', linewidth=1, label=f'25th Percentile: {percentiles[0]:.2f}') plt.axvline(percentiles[1], color='orange', linestyle='dashed', linewidth=1, label=f'50th Percentile: {percentiles[1]:.2f}') plt.axvline(percentiles[2], color='yellow', linestyle='dashed', linewidth=1, label=f'75th Percentile: {percentiles[2]:.2f}') plt.axvline(percentiles[3], color='brown', linestyle='dashed', linewidth=1, label=f'90th Percentile: {percentiles[3]:.2f}') # Add legend plt.legend() # Show the plot plt.show()
graph.query(""" MATCH (n:`__Entity__`) RETURN "node" AS type, count(*) AS total_count, count(n.description) AS non_null_descriptions UNION ALL MATCH (n)-[r:!MENTIONS]->() RETURN "relationship" AS type, count(*) AS total_count, count(r.description) AS non_null_descriptions """)
په یاد ولرئ چې د LLMs احتمالي طبیعت له امله ، شمیرې په مختلف منډو او مختلف سرچینې ډیټا ، LLMs ، او اشارو کې توپیر کولی شي.
د ادارې قرارداد
د ادارې ریزولوشن (د نقل کولو) د پوهې ګرافونو رامینځته کولو کې خورا مهم دی ځکه چې دا ډاډ ورکوي چې هره اداره په ځانګړي او دقیق ډول نمایش کیږي ، د نقلونو مخه نیسي او د ریکارډونو یوځای کول چې ورته ریښتیني نړۍ ته راجع کیږي. دا پروسه په ګراف کې د معلوماتو بشپړتیا او ثبات ساتلو لپاره اړینه ده. د ادارې ریزولوشن پرته، د پوهې ګرافونه به د ټوټې او متناسب معلوماتو سره مخ شي، چې د غلطیو او غیر باوري بصیرت لامل کیږي.
آف شور لیک ډیټا سره وصل کولو لپاره ادارې ریزولوشن کارولو دمخه / وروسته - د عکس
په ټولیز ډول، د ادارې ریزولوشن د معلوماتو د ترلاسه کولو او ادغام موثریت ته وده ورکوي، په مختلفو سرچینو کې د معلوماتو یو همغږي لید چمتو کوي. دا په نهایت کې د باور وړ او بشپړ پوهې ګراف پراساس خورا مؤثره پوښتنو ځوابونو ته وړتیا ورکوي.
- په ګراف کې موجودات - په ګراف کې د ټولو ادارو سره پیل کړئ.
- د K-نږدې ګراف - د k-نږدې ګاونډی ګراف جوړ کړئ، د متن ایډیډینګونو پراساس ورته ادارې وصل کړئ.
- کمزوري وصل شوي اجزا - د k-نږدې ګراف کې ضعیفه وصل شوي اجزاوې وپیژنئ، د هغو ادارو ګروپ کول چې احتمال ورته ورته وي. د دې اجزاو پیژندلو وروسته د کلمې فاصله فلټر کولو مرحله اضافه کړئ.
- د LLM ارزونه - د دې اجزاو ارزولو لپاره LLM وکاروئ او پریکړه وکړئ چې ایا د هرې برخې دننه ادارې باید ضمیمه شي ، په پایله کې د ادارې ریزولوشن په اړه وروستۍ پریکړه کیږي (د مثال په توګه ، د 'سیلیکون ویلی بانک' او 'سیلیکون_ویلی_بانک' یوځای کول پداسې حال کې چې د مختلف لپاره ادغام رد کول. نیټې لکه 'سپتمبر 16، 2023' او 'سپتمبر 2، 2023').
موږ د ادارو د نوم او توضیحي ملکیتونو لپاره د متن سرایتونو محاسبه کولو سره پیل کوو. موږ کولی شو د دې ترلاسه کولو لپاره په LangChain کې د Neo4jVector ادغام کې د from_existing_graph میتود وکاروو:
vector = Neo4jVector.from_existing_graph( OpenAIEmbeddings(), node_label='__Entity__', text_node_properties=['id', 'description'], embedding_node_property='embedding' )
from graphdatascience import GraphDataScience gds = GraphDataScience( os.environ["NEO4J_URI"], auth=(os.environ["NEO4J_USERNAME"], os.environ["NEO4J_PASSWORD"]) )
G, result = gds.graph.project( "entities", # Graph name "__Entity__", # Node projection "*", # Relationship projection nodeProperties=["embedding"] # Configuration parameters )
اوس چې ګراف د entities نوم لاندې اټکل شوی، موږ کولی شو د ګراف الګوریتم اجرا کړو. موږ به د په جوړولو سره پیل وکړو. دوه خورا مهم پیرامیټرونه چې تاثیر کوي چې د k - نږدې ګراف به څومره کم یا کثافت وي similarityCutoff او topK دي. topK د هر نوډ لپاره د موندلو لپاره د ګاونډیانو شمیر دی، چې لږ تر لږه 1 ارزښت لري. similarityCutoff د دې حد لاندې د ورته والی سره اړیکې فلټر کوي. دلته، موږ به د 10 ډیفالټ topK او د 0.95 نسبتا لوړ ورته والی کټ آف وکاروو. د لوړ ورته والی کټ آف کارول، لکه 0.95، دا یقیني کوي چې یوازې خورا ورته ورته جوړه میچونه ګڼل کیږي، غلط مثبت کموي او دقت ښه کوي.
له هغه ځایه چې موږ غواړو پایلې بیرته د پوهې ګراف پرځای په یادداشت کې اټکل شوي ګراف ته وسپارو، موږ به د الګوریتم mutate موډ وکاروو:
similarity_threshold = 0.95 gds.knn.mutate( G, nodeProperties=['embedding'], mutateRelationshipType= 'SIMILAR', mutateProperty= 'score', similarityCutoff=similarity_threshold )
بل ګام دا دی چې د ادارو ګروپونه وپیژني کوم چې د نوي اټکل شوي ورته ورته اړیکو سره تړلي دي. د وصل شوي نوډونو ګروپونو پیژندل د شبکې تحلیل کې یو پرله پسې پروسه ده چې ډیری وختونه د ټولنې کشف یا کلسترینګ په نوم یادیږي ، کوم چې د ډیری تړل شوي نوډونو فرعي ګروپونو موندل شامل دي. په دې مثال کې، موږ به د وکاروو، کوم چې موږ سره د ګراف د برخو په موندلو کې مرسته کوي چیرې چې ټول نوډونه وصل دي، حتی که موږ د ارتباط لوري ته سترګې پټې کړو.
موږ د الګوریتم د write حالت کاروو ترڅو پایلې بیرته ډیټابیس ته ذخیره کړو (ذخیره شوي ګراف):
gds.wcc.write( G, writeProperty="wcc", relationshipTypes=["SIMILAR"] )
د متن سرایت پرتله کول د احتمالي نقلونو موندلو کې مرسته کوي ، مګر دا یوازې د ادارې حل پروسې برخه ده. د مثال په توګه، ګوګل او ایپل د سرایت کولو ځای کې خورا نږدې دي (0.96 کوزین ورته والی د ada-002 ایمبیډینګ ماډل په کارولو سره). ورته د BMW او مرسډیز بینز (0.97 کوزین ورته والی) لپاره ځي. د لوړ متن سرایت ورته والی یو ښه پیل دی، مګر موږ کولی شو دا ښه کړو. له همدې امله، موږ به یو اضافي فلټر اضافه کړو چې یوازې د دریو یا لږ متن فاصله سره د کلمو جوړه اجازه ورکوي (په دې معنی چې یوازې حروف بدل کیدی شي):
word_edit_distance = 3 potential_duplicate_candidates = graph.query( """MATCH (e:`__Entity__`) WHERE size(e.id) > 3 // longer than 3 characters WITH e.wcc AS community, collect(e) AS nodes, count(*) AS count WHERE count > 1 UNWIND nodes AS node // Add text distance WITH distinct [n IN nodes WHERE apoc.text.distance(toLower(node.id), toLower(n.id)) < $distance OR node.id CONTAINS n.id | n.id] AS intermediate_results WHERE size(intermediate_results) > 1 WITH collect(intermediate_results) AS results // combine groups together if they share elements UNWIND range(0, size(results)-1, 1) as index WITH results, index, results[index] as result WITH apoc.coll.sort(reduce(acc = result, index2 IN range(0, size(results)-1, 1) | CASE WHEN index <> index2 AND size(apoc.coll.intersection(acc, results[index2])) > 0 THEN apoc.coll.union(acc, results[index2]) ELSE acc END )) as combinedResult WITH distinct(combinedResult) as combinedResult // extra filtering WITH collect(combinedResult) as allCombinedResults UNWIND range(0, size(allCombinedResults)-1, 1) as combinedResultIndex WITH allCombinedResults[combinedResultIndex] as combinedResult, combinedResultIndex, allCombinedResults WHERE NOT any(x IN range(0,size(allCombinedResults)-1,1) WHERE x <> combinedResultIndex AND apoc.coll.containsAll(allCombinedResults[x], combinedResult) ) RETURN combinedResult """, params={'distance': word_edit_distance})
{'combinedResult': ['Sinn Fein', 'Sinn Féin']}, {'combinedResult': ['Government', 'Governments']}, {'combinedResult': ['Unreal Engine', 'Unreal_Engine']}, {'combinedResult': ['March 2016', 'March 2020', 'March 2022', 'March_2023']}, {'combinedResult': ['Humana Inc', 'Humana Inc.']}, {'combinedResult': ['New York Jets', 'New York Mets']}, {'combinedResult': ['Asia Pacific', 'Asia-Pacific', 'Asia_Pacific']}, {'combinedResult': ['Bengaluru', 'Mangaluru']}, {'combinedResult': ['US Securities And Exchange Commission', 'Us Securities And Exchange Commission']}, {'combinedResult': ['Jp Morgan', 'Jpmorgan']}, {'combinedResult': ['Brighton', 'Brixton']},
system_prompt = """You are a data processing assistant. Your task is to identify duplicate entities in a list and decide which of them should be merged. The entities might be slightly different in format or content, but essentially refer to the same thing. Use your analytical skills to determine duplicates. Here are the rules for identifying duplicates: 1. Entities with minor typographical differences should be considered duplicates. 2. Entities with different formats but the same content should be considered duplicates. 3. Entities that refer to the same real-world object or concept, even if described differently, should be considered duplicates. 4. If it refers to different numbers, dates, or products, do not merge results """ user_template = """ Here is the list of entities to process: {entities} Please identify duplicates, merge them, and provide the merged list. """
زه تل خوښوم چې په LangChain کې with_structured_output میتود وکاروم کله چې د جوړښت شوي ډیټا محصول تمه کول ترڅو د محصول په لاسي ډول پارس کولو څخه مخنیوی وشي.
دلته، موږ به محصول list of lists په توګه تعریف کړو، چیرته چې هر داخلي لیست هغه ادارې لري چې باید یوځای شي. دا جوړښت د سناریوګانو اداره کولو لپاره کارول کیږي چیرې چې د بیلګې په توګه، ان پټ ممکن وي [Sony, Sony Inc, Google, Google Inc] . په داسې حاالتو کې، تاسو غواړئ "سوني" او "سوني شرکت" د "ګوګل" او "ګوګل شرکت" څخه جلا جلا کړئ.
class DuplicateEntities(BaseModel): entities: List[str] = Field( description="Entities that represent the same object or real-world entity and should be merged" ) class Disambiguate(BaseModel): merge_entities: Optional[List[DuplicateEntities]] = Field( description="Lists of entities that represent the same object or real-world entity and should be merged" ) extraction_llm = ChatOpenAI(model_name="gpt-4o").with_structured_output( Disambiguate )
بیا، موږ د LLM پرامپټ د جوړښت شوي محصول سره مدغم کوو ترڅو د LangChain Expression Language (LCEL) ترکیب په کارولو سره یو زنځیر رامینځته کړي او دا په یو disambiguate فعالیت کې ځای په ځای کړي.
extraction_chain = extraction_prompt | extraction_llm def entity_resolution(entities: List[str]) -> Optional[List[List[str]]]: return [ el.entities for el in extraction_chain.invoke({"entities": entities}).merge_entities ]
موږ اړتیا لرو چې ټول احتمالي کاندید نوډونه د entity_resolution فنکشن له لارې پرمخ بوځو ترڅو پریکړه وکړو چې ایا دوی باید یوځای شي. د پروسې ګړندۍ کولو لپاره ، موږ به بیا د LLM تلیفونونه موازي کړو:
merged_entities = [] with ThreadPoolExecutor(max_workers=MAX_WORKERS) as executor: # Submitting all tasks and creating a list of future objects futures = [ executor.submit(entity_resolution, el['combinedResult']) for el in potential_duplicate_candidates ] for future in tqdm( as_completed(futures), total=len(futures), desc="Processing documents" ): to_merge = future.result() if to_merge: merged_entities.extend(to_merge)
د ادارې ریزولوشن وروستی ګام د entity_resolution LLM څخه پایلې اخیستل او د ټاکل شوي نوډونو په یوځای کولو سره ډیټابیس ته بیرته لیکل شامل دي:
graph.query(""" UNWIND $data AS candidates CALL { WITH candidates MATCH (e:__Entity__) WHERE e.id IN candidates RETURN collect(e) AS nodes } CALL apoc.refactor.mergeNodes(nodes, {properties: { description:'combine', `.*`: 'discard' }}) YIELD node RETURN count(*) """, params={"data": merged_entities})
د عنصر لنډیز
په بل ګام کې، لیکوالان د عنصر لنډیز ګام ترسره کوي. په لازمي ډول، هر نوډ او اړیکه له لارې تیریږي. لیکوالان د دوی د تګلارې نوښت او علاقه یادوي:
"په ټولیز ډول ، زموږ په احتمالي شور لرونکي ګراف جوړښت کې د همجنس نوډونو لپاره د بډایه توضیحي متن کارول د LLMs ظرفیتونو او د نړیوال ، پوښتنې متمرکز لنډیز اړتیاو سره همغږي دي. دا ځانګړتیاوې زموږ د ګراف شاخص د عادي پوهې ګرافونو څخه هم توپیر کوي، کوم چې د الندې استدلال دندو لپاره په لنډ او دوامداره پوهه درې ګونی (موضوع، وړاندوینه، اعتراض) تکیه کوي.
د ټولنو جوړول او لنډیز کول
د ګراف د جوړولو او د لیست کولو په بهیر کې وروستی ګام په ګراف کې د ټولنو پیژندل شامل دي. په دې شرایطو کې، یوه ټولنه د نوډونو یوه ډله ده چې د ګراف د پاتې برخې په پرتله یو له بل سره ډیر تړلي دي، د متقابل عمل یا ورته والی لوړه کچه په ګوته کوي. لاندې لید د ټولنې د موندلو پایلو یوه بیلګه ښیي.
G, result = gds.graph.project( "communities", # Graph name "__Entity__", # Node projection { "_ALL_": { "type": "*", "orientation": "UNDIRECTED", "properties": {"weight": {"property": "*", "aggregation": "COUNT"}}, } }, )
wcc = gds.wcc.stats(G) print(f"Component count: {wcc['componentCount']}") print(f"Component distribution: {wcc['componentDistribution']}") # Component count: 1119 # Component distribution: { # "min":1, # "p5":1, # "max":9109, # "p999":43, # "p99":19, # "p1":1, # "p10":1, # "p90":7, # "p50":2, # "p25":1, # "p75":4, # "p95":10, # "mean":11.3 }
بیا، موږ به د لیډن الګوریتم چلوو، کوم چې د GDS کتابتون کې هم شتون لري، او includeIntermediateCommunities پیرامیټر په ټولو کچو کې د ټولنو بیرته راستنیدو او ذخیره کولو لپاره فعال کړو. موږ د لیډین الګوریتم وزن لرونکي ډول چلولو لپاره د relationshipWeightProperty پیرامیټر هم شامل کړی دی. د الګوریتم write حالت کارول پایلې د نوډ ملکیت په توګه ذخیره کوي.
gds.leiden.write( G, writeProperty="communities", includeIntermediateCommunities=True, relationshipWeightProperty="weight", )
graph.query(""" MATCH (e:`__Entity__`) UNWIND range(0, size(e.communities) - 1 , 1) AS index CALL { WITH e, index WITH e, index WHERE index = 0 MERGE (c:`__Community__` {id: toString(index) + '-' + toString(e.communities[index])}) ON CREATE SET c.level = index MERGE (e)-[:IN_COMMUNITY]->(c) RETURN count(*) AS count_0 } CALL { WITH e, index WITH e, index WHERE index > 0 MERGE (current:`__Community__` {id: toString(index) + '-' + toString(e.communities[index])}) ON CREATE SET current.level = index MERGE (previous:`__Community__` {id: toString(index - 1) + '-' + toString(e.communities[index - 1])}) ON CREATE SET previous.level = index - 1 MERGE (previous)-[:IN_COMMUNITY]->(current) RETURN count(*) AS count_1 } RETURN count(*) """)
لیکوالان د community rank هم معرفي کوي، چې د متن د بیلابیلو برخو شمیره په ګوته کوي چې په ټولنه کې شتون لري:
graph.query(""" MATCH (c:__Community__)<-[:IN_COMMUNITY*]-(:__Entity__)<-[:MENTIONS]-(d:Document) WITH c, count(distinct d) AS rank SET c.community_rank = rank; """)
community_size = graph.query( """ MATCH (c:__Community__)<-[:IN_COMMUNITY*]-(e:__Entity__) WITH c, count(distinct e) AS entities RETURN split(c.id, '-')[0] AS level, entities """ ) community_size_df = pd.DataFrame.from_records(community_size) percentiles_data = [] for level in community_size_df["level"].unique(): subset = community_size_df[community_size_df["level"] == level]["entities"] num_communities = len(subset) percentiles = np.percentile(subset, [25, 50, 75, 90, 99]) percentiles_data.append( [ level, num_communities, percentiles[0], percentiles[1], percentiles[2], percentiles[3], percentiles[4], max(subset) ] ) # Create a DataFrame with the percentiles percentiles_df = pd.DataFrame( percentiles_data, columns=[ "Level", "Number of communities", "25th Percentile", "50th Percentile", "75th Percentile", "90th Percentile", "99th Percentile", "Max" ], ) percentiles_df
community_info = graph.query(""" MATCH (c:`__Community__`)<-[:IN_COMMUNITY*]-(e:__Entity__) WHERE c.level IN [0,1,4] WITH c, collect(e ) AS nodes WHERE size(nodes) > 1 CALL apoc.path.subgraphAll(nodes[0], { whitelistNodes:nodes }) YIELD relationships RETURN c.id AS communityId, [n in nodes | {id: n.id, description: n.description, type: [el in labels(n) WHERE el <> '__Entity__'][0]}] AS nodes, [r in relationships | {start: startNode(r).id, type: type(r), end: endNode(r).id, description: r.description}] AS rels """)
{'communityId': '0-6014', 'nodes': [{'id': 'Darrell Hughes', 'description': None, type:"Person"}, {'id': 'Chief Pilot', 'description': None, type: "Person"}, ... }], 'rels': [{'start': 'Ryanair Dac', 'description': 'Informed of the change in chief pilot', 'type': 'INFORMED', 'end': 'Irish Aviation Authority'}, {'start': 'Ryanair Dac', 'description': 'Dismissed after internal investigation found unacceptable behaviour', 'type': 'DISMISSED', 'end': 'Aidan Murray'}, ... ]}
"summary": "Abila City Park as the central location", "explanation": "Abila City Park is the central entity in this community, serving as the location for the POK rally. This park is the common link between all other entities, suggesting its significance in the community. The park's association with the rally could potentially lead to issues such as public disorder or conflict, depending on the nature of the rally and the reactions it provokes. [records: Entities (5), Relationships (37, 38, 39, 40)]"
community_template = """Based on the provided nodes and relationships that belong to the same graph community, generate a natural language summary of the provided information: {community_info} Summary:""" # noqa: E501 community_prompt = ChatPromptTemplate.from_messages( [ ( "system", "Given an input triples, generate the information summary. No pre-amble.", ), ("human", community_template), ] ) community_chain = community_prompt | llm | StrOutputParser()
def prepare_string(data): nodes_str = "Nodes are:\n" for node in data['nodes']: node_id = node['id'] node_type = node['type'] if 'description' in node and node['description']: node_description = f", description: {node['description']}" else: node_description = "" nodes_str += f"id: {node_id}, type: {node_type}{node_description}\n" rels_str = "Relationships are:\n" for rel in data['rels']: start = rel['start'] end = rel['end'] rel_type = rel['type'] if 'description' in rel and rel['description']: description = f", description: {rel['description']}" else: description = "" rels_str += f"({start})-[:{rel_type}]->({end}){description}\n" return nodes_str + "\n" + rels_str def process_community(community): stringify_info = prepare_string(community) summary = community_chain.invoke({'community_info': stringify_info}) return {"community": community['communityId'], "summary": summary}
summaries = [] with ThreadPoolExecutor() as executor: futures = {executor.submit(process_community, community): community for community in community_info} for future in tqdm(as_completed(futures), total=len(futures), desc="Processing communities"): summaries.append(future.result())
graph.query(""" UNWIND $data AS row MERGE (c:__Community__ {id:row.community}) SET c.summary = row.summary """, params={"data": summaries})
په ګراف کې اوس اصلي اسناد، استخراج شوي بنسټونه او اړیکې، او همدارنګه د ټولنې درجه بندي جوړښت او لنډیز شامل دي.
لنډیز
د "سیمه ایز څخه نړیوال ته" مقالې ګرافراګ ته د نوي چلند په ښودلو کې عالي دنده ترسره کړې. دوی ښیي چې موږ څنګه کولی شو د مختلفو اسنادو څخه معلومات د درجه بندي پوهې ګراف جوړښت کې یوځای او لنډیز کړو.
د دې موضوع په اړه د لا زیاتو معلوماتو لپاره، موږ سره د نومبر په 7 کې په NODES 2024 کې ګډون وکړئ، زموږ وړیا مجازی پراختیا کونکي کنفرانس د هوښیار ایپسونو، پوهې ګرافونو، او AI په اړه. !
L O A D I N G
. . . comments & more!
. . . comments & more!
